经典神经网络结构，AlexNet，VGG，GoogLeNet，ResNet

一  AlexNet

ImageNet Classification with Deep Convolutional Neural Networks

包含5个卷积层和3个全连接层

1  ReLU 

ReLU比tanh要快，非线性非饱和函数比非线性饱和函数要快

2  双GPU并行运行

3 LRN局部响应归一化

4 Overlapping Pooling

5 总体结构

防止过拟合：数据增强，dropout

二  VGG

卷积神经网络的深度增加和小卷积核的使用对网络的最终分类识别效果有很大的作用

三  GoogLeNet

1  Inception v1

该结构将CNN中常用的卷积（1x1，3x3，5x5）、池化操作（3x3）堆叠在一起（卷积、池化后的尺寸相同，将通道相加），一方面增加了网络的宽度，另一方面也增加了网络对尺度的适应性。每一个卷积层后都要做一个ReLU操作，增加网络非线性。

然而这个Inception原始版本，所有的卷积核都在上一层的所有输出上来做，而那个5x5的卷积核所需的计算量就太大了，为了避免这种情况，在3x3前、5x5前、max pooling后分别加上了1x1的卷积核，形成了Inception v1的网络结构。

1*1卷积目的：减少维度，增加非线性

GoogLeNet采用了average pooling来替代全连接层

为了避免梯度消失，额外增加了2个辅助的softmax用于前向传导梯度

2  Inception v2

GoogLeNet设计的初衷就是要又准又快，而如果只是单纯的堆叠网络虽然可以提高准确率，但是会导致计算效率有明显的下降。Inception V2版本的解决方案就是修8改Inception的内部计算逻辑，提出了比较特殊的“卷积”计算结构。

（1）卷积分解

（2）降低特征图大小

一般情况下，想让图像缩小，有如下两种方式：

3 Inception v3

Inception V3一个最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样的好处，既可以加速计算，又可以将1个卷积拆成2个卷积，使得网络深度进一步增加，增加了网络的非线性（每增加一层都要进行ReLU）。

4 Inception v4

Inception V4主要利用残差连接（Residual Connection）来改进V3结构，得到Inception-ResNet-v1，Inception-ResNet-v2，Inception-v4网络。

四  ResNet

随着网络的加深，出现了训练集准确率下降的现象，我们可以确定这不是由于overfit过拟合造成的（过拟合的情况训练集应该准确率很高），所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深。

在ResNet网络结构中会用到两种残差模块，一种是以两个3*3的卷积网络串接在一起作为一个残差模块，另外一种是1*1、3*3、1*1的三个卷积网络串接在一起作为一个残差模块。18，34，50，101，152