Mask Scoring R-CNN[详解]

git code:
https://github.com/zjhuang22/maskscoring_rcnn
论文翻译:
https://blog.csdn.net/weixin_37993251/article/details/88248361

1 发现问题(动机)

实例分割框架都采用实例分类的置信度作为Mask质量分数。

然而,被量化为mask实例与其地面实况之间的IoU的Mask质量通常与分类分数相关性不强。
Mask Scoring R-CNN[详解]

2 解决思路

改进mask 评分策略:
受AP指标的启发,实例分割利用预测Mask与真值Mask之间的像素级相交过并(IoU)来描述实例分割质量,提出了一种直接学习IoU的网络。
这个IoU表示为MaskIoU。
在测试阶段得到了预测的Mask分数,通过将预测的Mask分数与分类分数相乘来重新评估Mask分数。因此,Mask评分同时考虑语义类别和实例Mask的完整性。

3 具体设计

网络设计

Mask Scoring R-CNN[详解]
将RoIAlign层的feature与预测的mask连接起来作为MaskIoU head的输入;

使用max pooling让预测掩码与RoI feature 具有相同空间大小;

MaskIOU包含4个卷积层和3个全连接层。

训练

使用RPN proposals作为训练样本,训练样本要求proposal box与匹配的ground truth的IOU大于0.5。
为了产生回归目标,我们得到目标类的预测掩码并将掩码二值化(使用0.5的阈值)。

对二值化mask和对应的ground truth计算 MaskIoU

使用L2 loss进行MaskIOU回归。

测试阶段

  • MaskIoU仅用来校准从RCNN生成的分类分数,将预测的MaskIoU和分类分数相乘得到校准后的掩模分数
  • 取其前k个分数框,生成多类mask,来预测MaskIoU

4 实验验证

对不同的框架具有鲁棒性,包括更快的R-CNN/FPN/DCN+FPN
不影响边框检测性能;实际上,它略微提高了边界框检测性能。
ref
https://www.cnblogs.com/wemo/p/10505970.html
https://blog.csdn.net/m0_38007695/article/details/88256702
https://blog.csdn.net/weixin_37993251/article/details/88248361(翻译)