弱监督语义分割论文方法分类
简书上比较完美的解读:https://www.jianshu.com/p/0b265f9c28c7
目录
1. 基于候选区域的方法(Proposal-based solution)
3.基于对抗擦出目标区域最小化的方法(Object Region Mining with AE),名字翻译的不太好
我的简单总结:
任务描述
一般弱监督采用的弱监督信息为image-level的类别信息,换句话说就是我们没有像素级的语义分割标签,但我们拿到了图像级的类别标签,我们知道每张图里有哪些类别.
关键问题
找到image-level的标签和像素点的关联。
实现方法分类
1. 基于候选区域的方法(Proposal-based solution)
这个方法借鉴了目标检测的思路,先得到候选框,然后得到候选框是目标的概率,然后选出概率大的区域,构建目标定位图(Object location map)作为语义分割的监督信息。这篇文章在VOC的MIOU为43%。效果比较差。
2.先易后难的方法
基本思路是从simple to comlex,也就是说现在背景干净,目标简单的图上训练,从简单的图上获得显著图作为监督信息,训练语义分割网络。也就是循序渐进的方式,先学会简单的再学习复杂的。在VOC精度达到49.8%。
3.基于对抗擦出目标区域最小化的方法(Object Region Mining with AE),名字翻译的不太好
思路就是利用多分类的标签,训练好一个多分类网络,利用这个多分类网络获得每个类别在图像的相应区域。其中,提到一个问题,也就是在分裂网络中,最具有判别类别的区域经常只是目标的一部分,这样会导致我们得到的目标区域也只是目标的一部分,因此文章提出了对抗擦除的方法,把最显著的区域擦除,得到次显著区域,多次重复,然后把显著区域合并。在VOC精度达到了55.7%.
4.基于种子区域生成的方法
在Pascal voc 2012上的MIoU达到了63.2%,Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing---CVPR2018
网络结构:
对于18年CVPR的基于深度种子区域生长(DSRG)的文章:
https://www.cnblogs.com/ariel-dreamland/p/9783539.html
上面这个解读会比较清晰。
这篇文章作者的caffe版本:
https://github.com/speedinghzl/DSRG
tensorflow复现版本:
https://github.com/xtudbxk/DSRG-tensorflow
弱监督语义分割|经典之作SEC:https://baijiahao.baidu.com/s?id=1618210995247519257&wfr=spider&for=pc
弱监督的基本思路是把目标检测和语义分割融合在一起。
基于tensorflow实现的代码:
deeplab-emadpt-tensorflow
SEC-tensorflow
DSRG-tensorflow