PSPNet_ Pyramid Scene Parsing Network
0. 写作目的
好记性不如烂笔头。
1. 问题
ADE20K 数据集存在的一些问题:
1, 错分: 图2第一行,船被误分为车了。 如果使用了全局信息,则可以避免这种情况。
2。 迷惑的类别: 第二行,建筑和摩天大楼。
3。 不易区分的类别: 枕头
2. 解决方法
融合全局信息提高分割结果
2.1 模型
模型:
其中(b)feature map得到的是 在采样8倍的特征。
然后通过average pooling得到 1*1, 2*2, 3*3和 6*6的特征图, 然后使用1*1conv 对特征图压缩通道, 压缩为原来通道的 1/N, 其中N为 pool的个数,这里为4。
再对不同的pool结果进行上采样,然后与 feature进行 concate。 再使用conv得到最终的结果。
2.2 辅助loss
同时,训练时,添加来一个辅助loss,这个方式与 BiSeNet v1 的操作相似。, 该辅助loss 的权重为0.4,是通过实验得到的。
辅助loss权重的实验:
3.3 实验结果
实验效果很不错,提高mIOU较多。
增大backbone效果更好:
与其他方法对比:
There may be some mistakes in this blog. So, any suggestions and comments are welcome!
注: 文中图来源于paper。