[semantic segmentation] FCN+ICNet 论文学习

论文地址：
FCN: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf
ICNet: https://arxiv.org/abs/1704.08545

FCN
FCN是2015的CVPR，也是semantic segmentation第一篇运用深度学习网络进行分割，并且是端到端的训练。FCN中用的基础网络是VGG，把VGG的全连接层拿走换成卷积层，再加上上采样，所以整个网络全是卷积层构成，顾名思义称为全卷积网络。

看论文的时候有个问题卡了好久，文中举的是这个例子，从卷积层到全连接的地方，也就是256变成4096这里，这里会变成1个像素点，在使用全连接层的时候。但是再改成全卷积之后，这个地方继续进行maxpooling和卷积运算，这个地方的feature map再次缩小一半而已，并不会变成1个像素（如果变成1个像素也没办法进行segmentation了对吧！）所以，这个全卷积网络，一共缩小5次，1/2, 1/4, 1/8, 1/16, 1/32这是feature map的size.整体流程图如下：

FCN 还提出一个skip connection, 目的是为了增强segmentation detail,核心idea就是叠加不用层次的feature map, 在做叠加之前先进行upsampling使两个feature map变成相同size. 这里一共尝试了三层叠加，32s, 16s 和8s

ICNet
ICNet 是针对实时semantic segmentation, 通过级联来加快网络训练速度，核心idea是分三条branch同时训练，low resolution通过核心的网络，提出CFF进行不同size的feature map进行特征融合，然后针对每个branch加入损失函数，最小化total loss.