弱监督语义分割论文方法分类

简书上比较完美的解读:https://www.jianshu.com/p/0b265f9c28c7

目录

我的简单总结:

任务描述

关键问题

实现方法分类

1. 基于候选区域的方法(Proposal-based solution)

2.基于简单图像的方法

3.基于对抗擦出目标区域最小化的方法(Object Region Mining with AE),名字翻译的不太好

4.基于种子区域生成的方法


我的简单总结:

任务描述

一般弱监督采用的弱监督信息为image-level的类别信息,换句话说就是我们没有像素级的语义分割标签,但我们拿到了图像级的类别标签,我们知道每张图里有哪些类别.

弱监督语义分割论文方法分类

关键问题

找到image-level的标签和像素点的关联。

弱监督语义分割论文方法分类

实现方法分类

1. 基于候选区域的方法(Proposal-based solution)

这个方法借鉴了目标检测的思路,先得到候选框,然后得到候选框是目标的概率,然后选出概率大的区域,构建目标定位图(Object location map)作为语义分割的监督信息。这篇文章在VOC的MIOU为43%。效果比较差。

弱监督语义分割论文方法分类

2.先易后难的方法

基本思路是从simple to comlex,也就是说现在背景干净,目标简单的图上训练,从简单的图上获得显著图作为监督信息,训练语义分割网络。也就是循序渐进的方式,先学会简单的再学习复杂的。在VOC精度达到49.8%。

弱监督语义分割论文方法分类

3.基于对抗擦出目标区域最小化的方法(Object Region Mining with AE),名字翻译的不太好

思路就是利用多分类的标签,训练好一个多分类网络,利用这个多分类网络获得每个类别在图像的相应区域。其中,提到一个问题,也就是在分裂网络中,最具有判别类别的区域经常只是目标的一部分,这样会导致我们得到的目标区域也只是目标的一部分,因此文章提出了对抗擦除的方法,把最显著的区域擦除,得到次显著区域,多次重复,然后把显著区域合并。在VOC精度达到了55.7%.

弱监督语义分割论文方法分类

4.基于种子区域生成的方法

Pascal  voc 2012上的MIoU达到了63.2%,Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing---CVPR2018

弱监督语义分割论文方法分类

网络结构:

弱监督语义分割论文方法分类

对于18年CVPR的基于深度种子区域生长(DSRG)的文章:

https://www.cnblogs.com/ariel-dreamland/p/9783539.html

上面这个解读会比较清晰。

这篇文章作者的caffe版本:

https://github.com/speedinghzl/DSRG

tensorflow复现版本:

https://github.com/xtudbxk/DSRG-tensorflow

 

弱监督语义分割|经典之作SEC:https://baijiahao.baidu.com/s?id=1618210995247519257&wfr=spider&for=pc

弱监督的基本思路是把目标检测和语义分割融合在一起。

基于tensorflow实现的代码:

deeplab-emadpt-tensorflow 
SEC-tensorflow 
DSRG-tensorflow