Abstract

Introduction

如何为图像中的每个像素分配类标签，实现end-to-end分割图像

为建立类标签和像素信息的对应关系，可将以往的方法分成proposal-based和classification-based两类：

proposal-based：通常会对生成的建议进行详细的检查，非常耗时
classification-based
利用一个分类模型来选择most discriminative region，并利用这些区域作为语义分割学习的像素级标注，但是，分类模型往往依赖于small and sparse discriminative region，它偏离了分割任务的要求

目的：使分类模型学习更加完整的目标区域
作用：建立一系列competitors，试图挑战分类网络使之不断发现特定类别的evidences
过程
(1) 利用image-level label训练图像分类网络
(2) 擦除分类网络发现的区域，从而破坏分类网络的性能，使其再去定位另外一个区域以正确分类。重复上述过程直至不能发现其他区域
(3) 将擦除的区域进行合并得到pixel-level语义分割mask，用于训练分割模型
存在问题及解决方案
(1) 可能会遗失一些object-related regions还有可能引入噪声
(2) 提出一种==互补的线上prohibitive segmentation learning(PSL)==方法辅助AE方法提取更加完整的object regions
(3) PSL使用predicted image-level 分类可信度来调制相应的类别特定响应图，并将其形成一个辅助的分割mask，该mask可以在线更新。禁止可信度较低的分割图，可以有效地降低噪声

多示例学习(Multi-Instance Learning)、期望最大值(Expectation Maximization)算法、Constrained CNN
Simple to Complex方法、SEC
同SEC相比，AE方法可获得dense object-related regions
AugFeed方法利用GrabCut和选择性搜索方法生成了像素级标注

Object Region Mining with Adversarial Erasing论文笔记

Object Region Mining with Adversarial Erasing论文笔记

first operation：通过最小化平方标签预测损失来训练分类网络
second operation：
(1) 使用==类**映射(CAM)==方法为每个image-level label生成heatmap
(2) 对heatmap进行阈值化得到discriminative object regions
(3) 将该区域擦除并将processed image再次喂入分类模型中参与训练
重复上述过程直至没有其他区域能够辅助模型分类预测

Object Region Mining with Adversarial Erasing论文笔记

理解：在线PSL方法利用图像分类结果识别可靠的类别分割图，形成噪声较小的辅助监控图，同时进行线上更新为AE的输出提供可靠的辅助信息。
过程
(1) 建立了一个包含两个分支的框架，一个用于分类，另一个用于语义分割
(2) 使用平方损失作为分类分支的优化目标，其产生的分类置信度被用于对特定类别的分割score maps进行加权
(3) 将分类结果集成到分割mask上，抑制低置信度的分割图参与预测，从而缓解噪音的问题