Inception v2、Inception v3

Inception v2、Inception v3是基于Inception v1的改进版。

下面的模块可以处理上一层中35x35的感受野大小,且处理的图片大小35x35,称35x35grid
Inception v2、Inception v3
一层3x3卷积又可以用一层1x3卷积和3x1卷积来替代
Inception v2、Inception v3
同理,n x n的卷积可以用1 x n 和n x 1的卷积替代:
n = 7 --> 17x17 grid
Inception v2、Inception v3

Making the inception module wider

设计更宽的inception module
Inception v2、Inception v3

Inception v2网络配置

在经过上一层得到的35x35大小的卷积图后,给入3个35x35 grid module 、5个17x17 grid module、2个8x8 grid module处理
Inception v2、Inception v3

对Auxiliary Classifier(辅助分类器)的考虑

  • 辅助分类器在训练过程即将结束、准确度接近饱和时才会有很大贡献,并不会帮助更快收敛。·
  • 它们起到正则化作用,特别是具有BatchNorm或Dropout操作时。
  • 两个辅助分类器中较低层的那个可以去掉

损失函数:标签平滑的模型正则化 Model Regularization via Label Smoothing

另一大改进是引入了标签平滑正则化(label-smoothing regularization, or LSR)可以避免过拟合,防止网络对于某一个类别预测过于自信软标签软标签如下:
Inception v2、Inception v3
Inception v2、Inception v3是一个较小的数,这样ground truth(正确分类)对应的标签有大部分的概率,而其它类别也有一小部分概率。新的交叉熵损失变为:
Inception v2、Inception v3
K为类别数,当K=1000时,u(k)=1/1000,
Inception v2、Inception v3等于0.1

  • 标签平滑的模型正则化 模型提高%0.2的准确率

Inception v3

Inception v2加上标签平滑、辅助分类器等,得到Inception v3
Inception v2、Inception v3
BN-auxiliary是指辅助性分类器的全连接层也是批处理规范化的,而不只是卷积。