极简笔记 Path Aggregation Network for Instance Segmentation

论文地址 https://arxiv.org/abs/1803.01534

本篇文章核心提出一个用于instance segmentation的网络PANet，如图三点改进：

Bottom-up Path Augmentation

在FPN之后再加入从底层到高层的卷积操作。文章解释说，在FPN之前的骨架网络深度非常深（来个100+层），为了方便底层信息向后传递，能够在决策层面被利用，所以在FPN之后又加了bottom-up path，使得底层信息到决策层面的最短路径不用从back-bone走，从FPN的cut再走bottom-up path加起来不到十层就可以了，能够更有效地被利用。bottom-up path结构如图，N2$N_2$ 就是P2$P_2$ ,之后Ni$N_i$ 经过一个3x3卷积（stride=2），加上Pi+1$P_{i+1}$，再一个3x3卷积得到Ni+1$N_{i+1}$ ，如此循环。

Adaptive Feature Pooling

作者做了个统计，发现某个尺度的决策信息并不是完全来自于对应层级的feature map，绝大多数信息来自于其他层级，所以所有层级的feature map都需要用。文章中作者在不同层级feature map的proposal做ROIAligned之后做逐像素的max operation，算是把不同尺度的feature map fuse together。

Fully-connected Fusion

作者认为分割的时候，FCN的方式主要依靠局部感受野，而fully-connect layer对于众多局部信息的组合能够有更好的表达能力（参数更多），能把各个局部的信息组合起来形成proposal的整体。所以作者如图新开一个分支，里面做了一次全连接操作，并且映射到相同的spatial size和FCN的结果相加。作者说只做一次全连接而不是多次是为了防止全连接太多把特征的spatial information给丢失掉了。在两个feature map融合的时候作者把“max”，“sum”，“product”方式均做了实验，发现还是“sum”好。

PANet在COCO 2017 challenges中取得instance segmentation 1st和object detection 2nd，与往年的champion效果对比如下表