AugFPN: Improving Multi-scale Feature Learning for Object Detection

AugFPN: Improving Multi-scale Feature Learning for Object Detection

写的第一篇博文，读过的文章 欢迎讨论
论文地址：arxiv.org/abs/1912.05384
由中科院与地平线在19年发表，提出AugFPN结构，可替换FPN，检测效果得到提升。
文章首先分析FPN模型中存在的问题，然后提出改进方案。

针对FPN模型，作者提出三个问题：①FPN在特征融合前，需要使用1x1的卷积进行降维，不同层降维后的特征图由于感受野不同，语义信息之间存在差异，直接进行融合会减弱多尺度特征的表达能力；②由于需要降维，最高层的特征图会丢失部分信息；③在目标框预测时，每个目标只对应一层特征图，忽略了其它层的帮助。
图一 FPN模型

图二 AugFPN网络
针对这三个问题，作者进行了改进，并提出了AugFPN模型：
1、针对不同层特征存在语义差异问题，在P2-P5后使用RPN生成大量ROIs，将每一个ROIs分别映射至M2-M5进行ROI-Align pooling得到相应的特征然后目标预测，这些层的分类和回归参数是共享然后使用损失进行参数更新，以此来使不同层的特征具有相似性。在测试时，这个辅助分支是不需要的，因此没有提升计算量。
2、由于降维操作，C5至P5的信息部分丢失，为解决此问题文中提出Adaptive Spatial
Fusion (ASF) 模块，其结构如图三，将C5特征图进行与图像比例有关的自适应池化，实验中选择0.1,0.2,0.3（池化后和原特征图的比例），池化后的特征图上采样回与C5一致后进行自适应的空间融合，类似于学习空间权重（空间注意力机制）然后加权相加，融合后的特征作为M6，与M5相加作为P5，以此解决信息丢失；

图三 Adaptive Spatial Fusion (ASF)结构
3、将RPN部分预测的每一个ROI映射到P2-P5，然后进行参数化的ROI_Pooling，其结构如图四，即为ROI对应每一层的特征块学习一个参数，进而将多层特征块加权求和，得到最终的特征块再进行目标检测。

图四 自适应通道融合

一篇很好的文章，针对现有模型存在的不足逐一分析、具体化，然后对应不足进行改进，检测效果有所提升。