极简笔记 Weakly Supervised Instance Segmentation using Class Peak Response

本文是一篇弱监督的工作，利用分类网络做实例分割任务。主要思路是利用网络输出的响应图，取局部极大值之后反向计算（这个过程中分辨率也在变大），得到与这个局部极大值相关的区域信息，再结合类别信息等，从利用传统算法求出的segmentation mask里面进行打分排序，得到分割结果。

网络训练只用到了分类信息。在正向传播时候每一个conv层输入记作U$U$，输出记作V$V$，坐标(i,j)下的值就记作Vij$V_{ij}$。定义反传公式：

其中U^ij${\hat{U}}_{ij}$是反向**函数，W+=RELU(W)$W^{+}=RELU(W)$，Z$Z$是归一化因子使得∑p,qP(Uij|Vpq)=1$\sum _{p,q}P(U_{ij}|V_{pq})=1$

记反传得到的响应图为peak response map（PRM），记作R$R$，用它在传统算法生成的mask proposal里面去打分并选取最高得分作为结果。打分公式如下：

其中S$S$表示mask proposal，S^$\hat{S}$表示形态学计算的S$S$的梯度，Q$Q$表示分类响应图上背景的响应。

伪代码见下图：

在类别数逐渐增多的情况下，该方法性能会逐步下降。文章和一堆弱监督方法进行了对比实验，取得了最好的效果。