一种值得借鉴的RPN:GARPN | Region Proposal by Guided Anchoring

GARPN | Region Proposal by Guided Anchoring

  • **基于语义特征指导anchor生成。**主要思想是定位可能的目标中心点,然后根据中心点设置最优的anchor box。该方法联合预测各个位置可能的目标的中心点以及相应的尺度和宽高比。

  • 训练时相比于RPN:
    (1)GA-RPN产生的正样本数目更多,而且高IoU的proposal占的比例更大。
    (2)GA-RPN采用更高的阈值、使用更少的样本
    (3)使用高质量proposal的前提是根据proposal的分布调整训练样本的分布GA-RPN相比RPN减少90%的anchor,并且提高9.1%的召回率,将其用于不同的物体检测器Fast R-CNN, Faster R-CNN and RetinaNet,分别提高 检测mAP 2.2%,2.7% ,1.2%
    一种值得借鉴的RPN:GARPN | Region Proposal by Guided Anchoring

  • Anchor生成单元:
    (1)基于单个特征图
    (2)由 位置预测 和 形状预测 两个分支组成的网络
    (3)特征图F1,在F1上位置预测分支生成一个概率图,该概率图指示对象的可能位置,形状预测分支则预测与位置相关的形状
    (4)通过两个分支,我们通过选择 预测概率高于某个阈值的位置 和 每个选择位置的最可能形状 来生成一组 anchors

  • masked conv

  • Feature adaptation
    变形卷积的思想,根据形状对各个位置单独进行转换。
    大一点的anchor对应的感受野应该大一点,小一点的anchor对应的感受野应该小一点,作者想到用可变形卷积的思想。
    先对每个位置预测一个卷积的offset(1x1卷积,输入为shape prediction)。
    然后根据该 offset field 对原始的 feature map 进行 3x3的可变形卷积 得到 f′I

  • 训练细节:
    多任务loss进行端到端的训练(除了基本的分类损失和回归损失以外,guided anchor方法还需要学习anchor location和anchor shape,因此还有两个额外的损失函数),损失函数为:
    一种值得借鉴的RPN:GARPN | Region Proposal by Guided Anchoring