Resnet理解
背景
ResNet的作者是何凯明依靠Resnet获得CVPR2016最佳论文奖。ResNet是解决了深度CNN模型难训练的问题,从下图中可以看到14年的VGG才19层,而15年的ResNet多达152层,这在网络深度完全不是一个量级上,所以如果是第一眼看这个图的话,肯定会觉得ResNet是靠深度取胜。事实当然是这样,但是ResNet还有架构上的trick,这才使得网络的深度发挥出作用,这个trick就是残差学习(Residual learning)。
网络退化问题
我们知道随着网络层数的加深,可以提取到更加高维的特征。但是更深的网络其性能一定会更好吗?实验发现深度网络出现了退化问题(Degradation problem):网络深度增加时,网络准确度出现饱和,甚至出现下降。这个现象可以在下图中直观看出来:56层的网络比20层网络效果还要差。这不会是过拟合问题,因为56层网络的训练误差同样高。我们知道深层网络存在着梯度消失或者爆炸的问题,这使得深度学习模型很难训练。但是现在已经存在一些技术手段如BatchNorm来缓解这个问题。因此,出现深度网络的退化问题是非常令人诧异的。
残差单元
何凯明提出残差学习来解决退化问题。对于一个堆积层结构(几层堆积而成),当输入为x时,其学习到的特征记为H(x),现在我们希望其可以学习到残差F(x) = H(x) - x,这样其实原始的学习特征是H(x)。之所以这样是因为残差学习相比原始特征直接学习更容易。当残差为F(x) = 0时,此时堆积层仅仅做了恒等映射,至少网络性能不会下降,实际上残差不会为0,这也会使得堆积层在输入特征基础上学习到新的特征,从而拥有更好的性能。所以,基本解决了寻找解为全局最优解而不是局部最优解的问题。
实验表明使用一般意义上的有参层来直接学习残差比直接学习输入、输出间映射要容易得多(收敛速度更快),也有效得多(可通过使用更多的层来达到更高的分类精度)。残差学习的结构如图3所示。这有点类似与电路中的“短路”,所以是一种短路连接(shortcut
connection)。
为什么残差学习相对更容易,从直观上看残差学习需要学习的内容少,因为残差一般会比较小,学习难度小点。不过我们可以从数学的角度来分析这个问题,首先残差单元可以表示为:
通道数不相同问题
最后将得到的残差和通过恒等映射的X进行相加,如果残差映射和本身X的通道不相同,则一般采取如下两种恒等映射(identity mapping):1.直接将相差的通道用零进行补充;2.采用1x1卷积,将通道数变成相同。
基本变种
目的:减少参数量,如下图:
其中右图称为瓶颈模块(BottleNeck)。
网络结构
ResNet网络是参考了VGG19网络,在其基础上进行了修改,并通过短路机制加入了残差单元变化主要体现在ResNet直接使用stride=2的卷积做下采样,并且用global average pool层替换了全连接层。
ResNet的一个重要设计原则是:当feature map大小降低一半时,feature map的数量增加一倍,这保持了网络层的复杂度。从下图中可以看到,ResNet相比普通网络每两层间增加了短路机制,这就形成了残差学习,其中虚线表示feature map数量发生了改变。图中展示的34-layer的ResNet,还可以构建更深的网络。对比图如下:
Resnet18网络结构:
子结构:
Resnet101子结构: