机器学习经典模型（一）图片分类网络：LeNet-5、AlexNet、VGG-16、ResNet、GoogLeNet/Inception
1.LeNet-5用来做手写体识别的
2.卷积-池化-卷积-池化 -全连接-全连接-softmax
3.**函数用的sigmoid
4.参数数量少，只有60k
1. 用来图像分类，输入为RGB图
2.卷积-池化-卷积......全连接，结构并没有什么创新
3.**函数为ReLU，sigmoid的导数在稳定区会非常小，ReLU可以防止梯度消失
4.参数多，有60m
1.2-3个卷积接一个池化，图像变小，通道变多
2.将网络结构标准化，卷积核、池化核都一样大小3x3,2x2，没有大卷积核例如7x7
3.使用小卷积核可以实现更复杂的非线性拟合，同时参数更少
4.16的意思是有16个带可训练权重的层，13个卷积层，3个全连接层
1.Residual block实现跳接，在**之前跳接到几层之后的**之前
2. 可以解决梯度消失问题，学习残差，构建更深层的网络
3.一般的网络层数加深可能训练效果反而变差，但是残差网络层数越深越好
4.更容易学习到恒等式
5.因为卷积时用的是大小不变的卷积，所以可以直接堆叠跳接，池化时大小变了，要添加一个把大小变相同的参数矩阵
1.inception模块里包含各种类型卷积，统统做一遍，然后堆叠在一起输出
2.通过1x1卷积压缩通道，从而减少计算量 ，bottleneck，
参考链接：