目标检测 | OHEM

  这里主要说下该论文的hard mining过程:

  先上图,如Figure2所示:

目标检测 | OHEM

  从图中可以看出,本文的亮点在于在每次迭代中,较少训练样本下,如何hard negative mining,来提升效果。

  即针对Fast-RCNN框架,在每次minibatch(1张或者2张)训练时加入在线筛选hard region的策略,达到新的SoA。

需要注意的是,这个OHEM适合于batch size(images)较少,但每张image的examples很多的情况。

(thousands of candidate examples,这里的example可以理解为instance、region或者proposal)

  这是一次ML经典算法bootstrapping在DL中的完美“嵌入”。

 

  具体来说:

1 将Fast RCNN分成两个components:ConvNet和RoINet. ConvNet为共享的底层卷积层,RoINet为RoI Pooling后的层,包括全连接层;

2 对于每张输入图像,经前向传播,用ConvNet获得feature maps(这里为RoI Pooling层的输入);

3 将事先计算好的proposals,经RoI Pooling层投影到feature maps上,获取固定的特征输出作为全连接层的输入;

         需要注意的是,论文说,为了减少显存以及后向传播的时间,这里的RoINet是有两个的,它们共享权重,

         RoINet1是只读(只进行forward),RoINet2进行forward和backward:

a 将原图的所有props扔到RoINet1,计算它们的loss(这里有两个loss:cls和det);

b 根据loss从高到低排序,以及利用NMS,来选出前K个props(K由论文里的N和B参数决定)

   为什么要用NMS? 显然对于那些高度overlap的props经RoI的投影后,

     其在feature maps上的位置和大小是差不多一样的,容易导致loss double counting问题

c 将选出的K个props(可以理解成hard examples)扔到RoINet2,

         这时的RoINet2和Fast RCNN的RoINet一样,计算K个props的loss,并回传梯度/残差给ConvNet,来更新整个网络

 

  论文提及到可以用一种简单的方式来完成hard mining:

在原有的Fast-RCNN里的loss layer里面对所有的props计算其loss,根据loss对其进行排序,(这里可以选用NMS),选出K个hard examples(即props),

反向传播时,只对这K个props的梯度/残差回传,而其他的props的梯度/残差设为0即可。

  由于这样做,容易导致显存显著增加,迭代时间增加,这对显卡容量少的童鞋来说,简直是噩梦。

 

  为什么说是online?

论文的任务是region-based object detection,其examples是对props来说的,即使每次迭代的图像数为1,它的props还是会很多,即使hard mining后

 

  为什么要hard mining:

1 减少fg和bg的ratio,而且不需要人为设计这个ratio;

2 加速收敛,减少显存需要这些硬件的条件依赖;

3 hard mining已经证实了是一种booststrapping的方式, 尤其当数据集较大而且较难的时候;

4 eliminates several heuristics and hyperparameters in common use by automatically selecting hard examples, thus simplifying training。

放宽了定义negative example的bg_lo threshold,即从[0.1, 0.5)变化到[0, 0.5)。

取消了正负样本在mini-batch里的ratio(原Fast-RCNN的ratio为1:3)

 

===

  除了OHEM外,在训练过程中,论文用到了multi-scale的train&test、iterative bounding box regression这两种策略。具体参考fast-rcnn和sppnet这两篇论文。

===

 

  还是看效果说话,效果屌屌的。

目标检测 | OHEM

 

  目标检测 | OHEM

 

参考:

https://blog.csdn.net/u012905422/article/details/52760669