卷积神经网络框架三：Google网络--v4:Inception-ResNet and the Impact of Residual Connections on Learning

Inception-ResNet and the Impact of Residual Connections on Learning
简述：
在这篇文章中，提出了两点创新，1是将inception architecture与residual connection结合起来是否有很好的效果.2是Inception本身是否可以通过使它更深入、更广泛来提高效率，提出Inception-v4 and Inception- ResNet两种模型网络框架。inception 已经被证明可以在相对较低的计算成本下获得非常好的性能，residual网络和Incption-v3的性能相似，都是对系统整体性能的极大提升。本文还证明了residual的加入会极大的改进inception网络，同时本文还提出了一些streamlined architectures（精简架构）为了residual and non-residual Inception networks。

模型：
对于Inception＋Res网络，我们使用比初始Inception更简易的Inception网络，但为了每个补偿由Inception block 引起的维度减少，Inception后面都有一个滤波扩展层(1×1个未**的卷积)，用于在添加之前按比例放大滤波器组的维数，以匹配输入的深度。
第一个“inception- resnet -v1”大致相当于inception -v3的计算成本，而“inception- resnet -v2”则相当于inception-v4网络的计算成本。

下图为inception-v4网络，总体框架及框架细节：

具体细节如下，分别为Inception-A block、Inception-B block、Inception-C block、35×35 ~ 17×17 reduction module、17×17 ~8×8 grid-reduction module：




下图为Inception-ResNet-v1 network

具体细节如下，分别为35 × 35 grid (Inception-ResNet-A) module、17 × 17 grid (Inception-ResNet-B) module、“Reduction-B” 17×17 ~ 8×8 grid-reduction module、8×8 grid (Inception-ResNet-C) module：

下图为Inception-ResNet-v2 network

具体细节如下，分别为35 × 35 grid (Inception-ResNet-A) module、17 × 17 grid (Inception-ResNet-B) module、“Reduction-B” 17×17 ~ 8×8 grid-reduction module、8×8 grid (Inception-ResNet-C) module：

上面所有网络的k, l, m, n个数字代表滤波器组的大小。

ResNet和Inception组合的后的block

成果：
1.


图中为Inception-v3 和Inception-ResNet-v1在ILSVRC-2012 验证集上的TOP-1和TOP-5比较结果，可以明显看出，Inception-ResNet-v1较Inception-v3来说测试速率大幅提高，但准确率略低。
2.


图中为Inception-v4 和Inception-ResNet-v2在ILSVRC-2012 验证集上的TOP-1和TOP-5比较结果，可以明显看出，Inception-ResNet-v2较Inception-v4来说测试速率大幅提高，准确率几乎相同。
3.


图中为Inception-v3、Inception-v4 和Inception-ResNet-v1、Inception-ResNet-v2在ILSVRC-2012 验证集上的TOP-1和TOP-5比较结果，可以明显看出，Inception-ResNet-v1速率最快，Inception-ResNet-v2准确率最高。
具体测试结果如下：