Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)

论文主要解决的是semantic segmentation中imbalanced training data distributions问题。在semantic segmentation数据集包括现实世界中存在明显的长尾分布的问题,即大多数的数据组成了小部分的类别,因此会导致学习器更偏向于这些类别。

论文地址:https://arxiv.org/abs/1704.02966

现有方法

1.构建数据集时近似均匀地采样,保证每种类别分布较为均匀

  • 这种方法在image-level上还比较方便操作,在semantic segmentation上难以保证

2.对minority classes进行上采样或者对majority classes进行下采样缺点:

  • 会改变数据潜在分布

  • 对数据不是最优利用(suboptimal exploitation),比如可能会丢掉一些majority classes的数据

  • 增加计算成本和过拟合的风险,比如某些minority classes数据会被重复利用很多次

3.cost-sensitive learning

  • 现在semantic segmentation datasets增加了更多的minority classes,这使得权重的划分更复杂

所以这篇文章提出了一种新的解决方法:Loss Max-Pooling

主要思想

1.通过pixel weighting functions自适应地对每个像素的contribution(实际展现的loss)进行re-weighting

  • 引起更高loss的像素的权重更大,这直接对潜在的类内和类间不平衡进行了补偿

  • Focus on a family of weighting functions with bounded p-norm and Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)-norm

2.通过普通的max-pooling在pixel-loss level上对pixel weighting function取最大

3.而这个最大值是传统loss(即每个像素损失的权重是相等的)的上界

数学分析

  • Standard setting

语义分割任务中损失公式定义如下:


Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)

Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)是损失函数,Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)是正则项


在普通semantic segmentation中,损失又可继续写成:

Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


其中:

  • Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)是每个像素的损失,Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)是定义的求和符号

  • 可见每个像素损失的权重是均匀的,这将使学习器偏向于图像中的主要部分


  • Loss Max-Pooling


文章设计了一个weighting function的convex, compact的空间,Loss Max-Pooling for Semantic Image Segmentation(2017cvpr),其中包括了均匀加权的情况,即Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


得到的损失函数如下:

Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


之后,文章定义了一个新的损失,即对不同weighting functions下的损失取最大:

Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


而这是文章中定义的所有损失函数的上界,包括传统的均匀加权的损失。文章提到这里的取最大值其实就是,max-pooling在pixel-loss level上的应用,所以这种方法才叫做 Loss Max-pooling。


Loss Max-Pooling的特性取决于空间Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)的形状。所以,文章中对空间Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)进行了一些限定。


  • The space Loss Max-Pooling for Semantic Image Segmentation(2017cvpr) of weighting functions

文章中关注的是由Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)范数和Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)范数限定的weighting functions,这里对Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)范数和Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)范数也进行了限定。Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


其中,Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)的取值范围是Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)

Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)

Left:二维情况下Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)的图形,其中Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)

Right:当Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)时的Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


通过改变Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)可以控制pixel selectivity degree of the pooling operation

一方面:

  • As Loss Max-Pooling for Semantic Image Segmentation(2017cvpr) , the optimal weights will be in general concentrated around a single pixel

  • As Loss Max-Pooling for Semantic Image Segmentation(2017cvpr) , the optimal weights will be uniformly spread across pixels

另一方面:

  • Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)可以通过关系,Loss Max-Pooling for Semantic Image Segmentation(2017cvpr) 控制被optimal weighting function support的最小像素数(我的理解是,其实就是保证至少多少像素被赋予权重)

可以由下面两幅图来理解:


Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)

图中选取了100个像素,同时为了可视化对像素进行了排序。


由左图可以看到,当Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)接近Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)的时候,权重变成了均匀加权(蓝色虚线);当Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)接近1时,权重变得很陡峭,但是Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)的限制保证了至少需要support的像素数。


由右图可以看出,当Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)时权重又变为了均匀加权(红色虚线),而每个值都对应了一段平均加权,也就说明Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)代表了像素共享权重的程度。


之后文章主要介绍了对Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)的计算,计算时采用了对偶的方式来求解,最后转化为对Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)的计算,具体详细证明可以请看论文。最后算法流程如下:


Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


文中还提到了一个辅助的取样策略,综合考虑了均匀采样和模型性能。因为文中并未细说,同时也不是本文重点,所以在此不赘述了。



实验结果


Loss Max-Pooling for Semantic Image Segmentation(2017cvpr)


LMP是Loss Max-pooling+辅助取样策略的结果;Proposed loss only是不加辅助取样策略的结果;所有结果没有使用multi-scale input和CRF做进一步优化。

本文转自:https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247484400&idx=1&sn=c76c86d568b984ba1c977c587db81b0a&chksm=ec1fee09db68671f642a831ca6ff560d1b7695e003a19956b12f22de3b644913e86b6400f752&scene=21#wechat_redirect