PSPNet_ Pyramid Scene Parsing Network

0. 写作目的

    好记性不如烂笔头。  

1. 问题

ADE20K 数据集存在的一些问题:

1, 错分: 图2第一行,船被误分为车了。 如果使用了全局信息,则可以避免这种情况。

2。 迷惑的类别: 第二行,建筑和摩天大楼。

3。 不易区分的类别: 枕头

PSPNet_ Pyramid Scene Parsing Network

 

2. 解决方法

融合全局信息提高分割结果

2.1 模型

 模型:

其中(b)feature map得到的是 在采样8倍的特征。

然后通过average pooling得到 1*1, 2*2, 3*3和 6*6的特征图, 然后使用1*1conv 对特征图压缩通道, 压缩为原来通道的 1/N, 其中N为 pool的个数,这里为4。

再对不同的pool结果进行上采样,然后与 feature进行 concate。 再使用conv得到最终的结果。

PSPNet_ Pyramid Scene Parsing Network

2.2 辅助loss

同时,训练时,添加来一个辅助loss,这个方式与 BiSeNet v1 的操作相似。, 该辅助loss 的权重为0.4,是通过实验得到的。

PSPNet_ Pyramid Scene Parsing Network

辅助loss权重的实验: 

PSPNet_ Pyramid Scene Parsing Network

3.3 实验结果

  实验效果很不错,提高mIOU较多。

增大backbone效果更好:

PSPNet_ Pyramid Scene Parsing Network

与其他方法对比:

PSPNet_ Pyramid Scene Parsing Network

There may be some mistakes in this blog. So, any suggestions and comments are welcome!

注: 文中图来源于paper。

[Reference]

   paper: https://arxiv.org/abs/1612.01105