AlexNet,VGG,GoogleNet,ResNet,DenseNet,NIN,MobileNet特定总结

一：AlexNet
1.使用ReLU加快模型训练

2.使用多GPU同时训练模型，加速

3.使用response-normalized加强正则化效果

4.叠加性池化（overlapping pooling）防止过拟合

5.dropout防止过拟合

二：VGG
1.使用3×3 Filters而不是大尺寸的Filters

2.multi-scale training, testing

3.模型融合

4.Dense (Convolutionalized) Testing，用conv替代FC

三：GoogleNet

1. 1x1 conv :减少维度，计算量，模型大小，缓和过拟合

2.Inception module：stack 1×1 conv, 3×3 conv, 5×5 conv, and 3×3 max pooling 到一层，使得该层能使用不同的conv
去提取不同的特征

3.global average pooling 取代FC减少计算量，过拟合

四：ResNet
1.提出了identity shortcut connection来解决模型过深，训练时梯度消失的问题，使得ResNet能构建很深的神经网络。

2.改进， ResNet with stochastic depth，训练时随机drop一些网络层不使用，test时则全部使用，可以减少训练时间，同时
得到的结果更好

3.残差模块起到了ensemble的作用

五：DenseNet
1.基于ResNet的改进，每一层的输入是前面所有层的输入，每一层的输出，传到后面的所有层作为一个输入，
这样使得网络能更精简，有更高的计算，存储效率，多样性的特征

六：NIN(Network In Network)
1.nlpconv
实现跨通道信息间的可学习交互

2. global average pooling 取代FC
   对于每一个category都生成相应的特征映射；
   该层没有参数优化，避免过拟合；
   更好的处理输入的空间转换；

七：MobileNet
1.Depthwise separable convolution
channel-wise DK×DK spatial convolution

2.a pointwise convolution
1×1 convolution 改变输入的维度

两者都用来减少模型参数计算量，加快计算