Joint semantic segmentation and boundary detection using iterative pyramid cintexts

摘要：我们提出了一种用于语义分割和边界检测的联合多任务学习框架。它的关键组成部分是迭代金字塔上下文模型（PCM），它是双任务的，并且存储分享潜在的语义在两个任务之间迭代。对于语义边界检测，我们提出以新颖的空间梯度融合去抑制非语义的信息。语义边界检测是双边任务的，我们引入基于边界一致性约束损失函数去提高语义分割的边界像素精。我们的方法在语义分割和语义边界检测两方面超越了SOTA，特别的，我们在Cityscapes test数据集实现了81.8%的mIoU（没有用额外数据），在语义边界检测上也超越之前的SOTA（在AP指标上超了9.9%，在MF指标上超了6.8%）。
贡献点有三：
1.据我们所知，我们是第一个将语义边界检测和语义分割任务用PCM结合入一个联合多任务框架的。
2.在语义边缘检测模型中我们引入新颖的抑制非语义边界的策略：将语义分割得到的边界可能性图与语义边界图融合。
3.在语义分割模型中，我们设计了一个二元损失函数，通过强制让预测的边界与边界的GT保持一致，提高边界像素的精度。
总体结构：

 PCM结构：

本网络的原理是利用语义分割和边界检测的任务的关联性来实现提高网络的性能的。我们提出了金字塔上下文迭代网络（RPCNet）。下面详细介绍我们的方法。

在我们的模型中，我们使用了一个预训练的残差网络作为我们的主干网络，需要注意的是我们移去了残差网络的最后一层下采样，并用膨胀卷积代替。所以最后一层的网络分辨率是1/16原始分辨率，可以保留住图像的细节。残差网络出来的多尺度特征图先经过一个3*3卷积然后RELU**函数在BN，将通道数量压缩到256，之后再输入进PCM模块中，我们在多尺度上迭代PCM模块，在每一个层级上，两个任务交替执行。我们用高层的特征图，包括本层特征图，去精修低层特征图。

我们用PCM模块去捕捉多尺度全局上下文信息去关联两个任务，用一个任务的全局上下文信息去修正另一个任务。经过若干步的PCM模块，我们可以得到语义分割预测图和边界预测图，这时我们可以从语义分割预测图中得到语义边界预测图（用空间梯度法）。最后我们将上面得到的两个边界预测图融合进一步提高边界精度。我们的网络用的是双loss，一个语义分割loss一个边界loss（这里其实是三个loss，一个语义分割的loss一个边界预测loss，还有一个根据语义分割产生的边界的loss，三个loss乘以系数加权得总loss）

实验部分：

总结：本网络是利用了语义分割和语义边界检测任务得相关性去设计的一个网络，达到了两个任务互相优化得目的，其实在轻量级网络的设计中，也能考虑多loss函数，只要寻找到合适的多loss函数，对网络性能应该有很大提高。