AlignSeg 语义分割ADE20K数据集SOTA | Feature-Aligned Segmentation

针对pooling下采样方式带来的特征融合不对齐的问题，提出了两个对齐模块

Abstract：

根据不同的卷积块或上下文嵌入聚合特征已被证明是增强语义分割特征表示的有效方法。然而，目前大多数流行的网络架构往往忽略了特征聚合过程中由于分步向下采样操作和不加区分的上下文信息融合所导致的失配问题。在本文中，我们探讨了解决这些特征不一致问题的原则，并创造性地提出了特征对齐的分割网络(AlignSeg)。AlignSeg由两个主要模块组成，即，对齐的特征聚合(AlignFA)模块和对齐的上下文建模(AlignCM)模块。首先，AlignFA采用了一种简单的可学习的插值策略来学习像素的变换偏移量，可以有效地缓解多分辨率特征聚集所带来的特征失配问题。其次，有了上下文嵌入，AlignCM使每个像素能够以自适应的方式选择私有自定义上下文信息，从而使上下文嵌入更好地对齐以提供适当的指导。我们通过在Cityscapes和ADE20K上的大量实验验证了我们的AlignSeg网络的有效性，获得了新的最先进的mIoU分数，分别为82.6%和45.95%。

Network：

网络使用RCB模块作为backbone网络，此外提出了两个特征对齐模块来解决下采样和上下文信息融合时带来的不匹配问题。

1.Aligned Feature Aggregation：

针对两个尺度的特征融合，首先对低分辨率特征进行upsample，再与高分辨率特征进行concat，经过卷积网络学习得到2个预测的偏置特征图，分别对应两个尺度特征图的预测偏置，每个偏置特征图具有2个通道，表示h,w位置的两个偏置。最后对两个尺度的特征分别对齐后进行相加操作。

2.Aligned Context Modeling：
基于pooling的方法以非自适应的方式聚合上下文信息，得到的全局上下文信息也会存在与局部特征不对齐的情况。然后我们可以利用对齐上下文建模(AlignCM)模块来自适应地聚合上下文信息。

1.对输入特征一个分支进行pooling得到K×K大小的上下文信息特征，经过卷积和upsample得到最终的上下文信息特征图C
2.另一个分支卷积提取局部特征图F，与输入尺寸一致
3.将C和F进行Concat，经过卷积学习预测得到C相对F的偏置u
4.使用预测的u去对齐C，再与F进行Concat融合

Experiments：

1.消融实验：

2.Cityspace：

3.ADE20K，SOTA效果：