ResNet-论文阅读理解-笔记

论文：Deep Residual Learning for Image Recognition

论文原文：https://arxiv.org/abs/1512.03385

论文翻译：http://www.jianshu.com/p/f71ba99157c7

核心技术：
1.研究了普通网络在深度较深的时候的表现，发现反倒不如稍浅一些的网络（34层和18层比较，18层的效果比34层好），并且检验发现这并不是前向或者后向的梯度消失导致的，提出深的普通网络可能有指数级别的较低的收敛速度的猜想。

2.提出残差网络结构（residual network），通过使用残差网络解决普通网络在深度较大时候面临的退化问题，做出逼近残差（F(x)=H(x)−x$F(x)=H(x)-x$,F(x)$F(x)$为残差方程，H(x)$H(x)$为对实际结果的逼近，最理想的状态为H(x)=x,F(x)=0$H(x)=x,F(x)=0$)到0比毕竟预测值到实际值要简单的合理假设，并且成功的证明了该假设的合理性。
改进后用于逼近残差的网络的基础块如下所示：

论文中将普通网络和改进后的残差网络的表现相比较发现残差网络能够很好的解决网络的退化问题。

3.提出两种不同的残差模块
自身捷径（Identity Shortcuts）
y1=F(x,Wi)+x$y_1=F(x,W_i)+x$
用于输入与输出维度一致的情况，没有引入新的参数，也没有增加网络的计算复杂度，
投影捷径（Projection Shortcuts）
y2=F(x,Wi)+Wsx$y_2=F(x,W_i)+W_{s}x$
试用于输入x和输出y维度不同的时候（维度相同也可以用，会增加参数和计算复杂度，而且带来的提升效果不大，所以作者后面的研究中并没有使用这种结构），使用Ws$W_s$可以达到改变x的维度的效果，使得计算能够正常进行，在某些输入输出维度发生变化的Layer上必须使用该方法来使得维度一致。

4.深度瓶颈构架（Deeper Bottleneck Architectures）

使用1x1,3x3,1x1的三层替代原本单元块中的两个3x3层，试用1x1的filter达到减少以及恢复尺寸的作用，在极深的网络训练过程中减少计算复杂度，从而减少训练时间。

突出贡献：
提出了一种可以很好的解决极深网络的退化问题的方案。使得深度网络的进一步加深成为可能。
没有最深，只有更深。
附网络结构