论文阅读 - ExFuse: Enhancing Feature Fusion for Semantic Segmentation
论文阅读 - ExFuse: Enhancing Feature Fusion for Semantic Segmentation
(ECCV 2018 Fudan University, Megvii Inc.)
这篇文章研究语义分割网络中高低层特征融合的效率问题。在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如何将两者高效融合是改善分割模型的关键。
这篇文章从两个大的方向上提出了改善思路，即1.增加低层特征的语义和2.在高层特征中增加更多空间信息。
paper: https://arxiv.org/abs/1805.04554
主要贡献：
- 从一个新的角度促进语义分割的性能，即通过更加有效地特征融合连接低级特征的分辨率和高级特征的语义差距
- 提出了新的网络ExFuse，在低级特征中引入了更多的语义信息，在高级特征中引入了更多的高空间分辨率信息
- 在 PASCAL VOC 2012 segmentation benchmark 达到了 state-of-the-art
语义分割网络中经常存在高低层特征的融合，但是这篇文章认为直接融合高底层特征会损害网络的性能。低级特征含有更多的空间信息，但是缺少语义信息；而高级特征由于降采样太多次含有较少的空间信息，但是富含语义信息。因此作者提出ExFuse网络，在低级特征中引入语义信息，在高级特征中引入空间信息。
Approach
提出的ExFuse网络以GCN为基础，以ResNeXt101为backbone
Introducing More Semantic Information into Low-level Features
这篇文章中，作者为了增加低层特征的语义信息做了三点改进：
- 网络结构重排(layer rearrengement)，构建更适合于分割的预训练模型；
- 深度语义监督(semantic supervision)；
- 语义嵌入支路(semantic embedding branch)，将高层特征融入低层特征。
Layer rearrangement
ResNeXt网络结构中，各级的网络包含的残差单元个数为{3,4,23,3}。为了提高底层特征的语义性，一个想法便是让低层的两级网络拥有的层数更多。因此作者将残差单元个数重排为{8,8,9,8}，并重新在ImageNet上预训练模型。重排后网络的分类性能没有明显变化，但是分割模型可以提高约0.8个点(mean intersection over union)的性能。
Semantic Supervision (SS)
深度语义监督其实在其他的一些工作里(如GoogLeNet，边缘检测的HED等等)已经使用到了，能够带来大约1个点的提升
Semantic Embedding Branch (SEB)
其做法是将高层特征上采样后，与低层特征逐像素相乘，用在GCN之前。该部分能带来大约0.7个点的提升。
Embedding More Spatial Resolution into High-level Features
这篇文章尝试将更多的空间特征融入到通道(channel)中去，包括:
- 通道分辨率嵌入(explicit channel resolution embedding)；
- 稠密邻域预测(densely adjacent prediction)。
Explicit Channel Resolution Embedding (ECRE)
其思路是在上采样支路中使用子像素上采样模块(sub-pixel upsample)。这个结构能够让和空间信息相关的监督信息回传到各个通道中，从而让不同通道包含不同空间信息。该模块和原有的反卷积一起使用才能显示出更好的性能。同单独使用反卷积相比，性能可以提高约0.6个点。
Densely Adjacent Prediction (DAP)
DAP模块只使用在输出预测结果的时候。其想法也是通过扩展通道数来增加空间信息。举一个例子来描述其功能，假设DAP的作用区域为3x3，输出结果的通道数为21，则扩展后的输出通道数为21x3x3。每3x3个通道融合成一个通道。如在最终结果中，第5通道(共21通道)的(12,13)坐标上的像素，是通过DAP之前的第5+0通道(11,12)、5+1通道的(11,13)、5+2通道的(11,14)、5+3通道的(12,12)、5+4通道的(12,13)、5+5通道的(12,14)…平均得到的。DAP能带来约0.6个点的提升。
最终各个模块累计评价
Experiment