深度学习之神经网络结构——残差网络ResNet
Deep Residual Learning for Image Recognition
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
arxiv, 2015
残差网络Residual Network自提出之日起就声名大振,成为大家在介绍深度学习近年上位史时不得不讲的网络结构。目前引用量已达1900。
阅读原文,会发现通篇出现次数非常多的一个词”degradation”,之前的深度学习模型深度加深到一定程度后如果继续加深会使得损失增加(准确率降低),下图表明了误差和模型深度之间的关系:
可以看到56层的模型无论是训练误差还是测试误差都比26层的要大。为什么会出现这种情况?假设现在有一个稍浅的性能比较好的网络,现在在它后面加上多层网络,并且我们假设添加的多层网络拟合的是恒等函数,那么新网络的性能应该和原网络一样好才对。可是实验证明新网络的准确率降低了,这说明额外的多层网络并不能很好地拟合恒等函数。总结成数学表达就是:假设现在我们想用多层网络拟合函数
现在我们粗暴的令
现在只需要让
上面的
这样由图2中的残差块组成的残差网络在没有增加参数数量和计算复杂度的情况下,解决了”degradation”问题,从而使得网络可以非常非常深。