Mask Scoring R-CNN[详解]
git code:
https://github.com/zjhuang22/maskscoring_rcnn
论文翻译:
https://blog.csdn.net/weixin_37993251/article/details/88248361
1 发现问题(动机)
实例分割框架都采用实例分类的置信度作为Mask质量分数。
然而,被量化为mask实例与其地面实况之间的IoU的Mask质量通常与分类分数相关性不强。
2 解决思路
改进mask 评分策略:
受AP指标的启发,实例分割利用预测Mask与真值Mask之间的像素级相交过并(IoU)来描述实例分割质量,提出了一种直接学习IoU的网络。
这个IoU表示为MaskIoU。
在测试阶段得到了预测的Mask分数,通过将预测的Mask分数与分类分数相乘来重新评估Mask分数。因此,Mask评分同时考虑语义类别和实例Mask的完整性。
3 具体设计
网络设计
将RoIAlign层的feature与预测的mask连接起来作为MaskIoU head的输入;
使用max pooling让预测掩码与RoI feature 具有相同空间大小;
MaskIOU包含4个卷积层和3个全连接层。
训练
使用RPN proposals作为训练样本,训练样本要求proposal box与匹配的ground truth的IOU大于0.5。
为了产生回归目标,我们得到目标类的预测掩码并将掩码二值化(使用0.5的阈值)。
对二值化mask和对应的ground truth计算 MaskIoU
使用L2 loss进行MaskIOU回归。
测试阶段
- MaskIoU仅用来校准从RCNN生成的分类分数,将预测的MaskIoU和分类分数相乘得到校准后的掩模分数
- 取其前k个分数框,生成多类mask,来预测MaskIoU
4 实验验证
对不同的框架具有鲁棒性,包括更快的R-CNN/FPN/DCN+FPN
不影响边框检测性能;实际上,它略微提高了边界框检测性能。
ref
https://www.cnblogs.com/wemo/p/10505970.html
https://blog.csdn.net/m0_38007695/article/details/88256702
https://blog.csdn.net/weixin_37993251/article/details/88248361(翻译)