【目标检测】Retinanet:Focal Loss for Dense Object Detection

今天介绍一篇目标检测的文章,来自FAIR研究院
相关文献:Focal Loss for Dense Object Detection

Motivation:

在two-stage检测器大行其道的今天,作者探究了one-stage 检测器在精度上不如two-stage检测器的原因。他们认为,one-stage检测器规则的密采样候选框的机制,会在采框过程中产生大量负样本,这种在训练时的前景-背景类别失衡会导致大量的简单负样本在训练过程中压倒检测器。简而言之,这些明显错误的简单负样本会在训练过程中影响检测器的学习,而那些更challenge的负样本会得不到关注。


Contribution

基于以上研究,作者提出了一种焦点损失(Focal Loss),给予easy的负样本一个小的loss权重,避免训练过程中正负样本loss失衡。


Focal Loss

常规的交叉熵损失公式如下:
【目标检测】Retinanet:Focal Loss for Dense Object Detection
当为正样本(y=1),则置信分数p越大loss越小,当为负样本(y=-1),则置信分数p越大则loss越小。
若将p和(1-p)统一表示为如下:
【目标检测】Retinanet:Focal Loss for Dense Object Detection
则交叉熵可以简化为:
【目标检测】Retinanet:Focal Loss for Dense Object Detection
这种损失有一个显著的特征,就是即使是很容易分类的例子(pt》0.5)也会造成损失,理论上这种easy的样本本不应对检测器产生影响,但是当有大量简单的样本存在时,即使他们各自产生的loss很小,他们loss的总和可能会对检测器产生巨大影响。
为此,作者提出Focal Loss:
【目标检测】Retinanet:Focal Loss for Dense Object Detection
使得越easy(pt越接近于1)的样本权值越小。比如,当gamma=2,pt=0.9时简单样本的loss会减小100倍。从而使得loss主要来源于更challenge的样本。


Pipeline

【目标检测】Retinanet:Focal Loss for Dense Object Detection
主要流程图如上,(a)(b)是比较常规的特征提取网络,作者采用的FPN50和FPN101,(c)(d)是分类和回归的subnet。整体的框架很简洁。


Detail

部分的细节论文中叙述的很详细,这里我只讲一个我实现过程中遇到的细节问题:在初始化网络的时候,一定记着在分类网络的最后一层加一个bias,文中给的b=0.01,这是为了防止大量的背景anchor在第一次迭代训练中产生一个大的,不稳定的损失值。如果不加的话,分分钟给你train爆。。。


Experiment

【目标检测】Retinanet:Focal Loss for Dense Object Detection
上面是具体的调参细节,感兴趣的看看就好

【目标检测】Retinanet:Focal Loss for Dense Object Detection
上图是和其他算法的性能比较