CNN图像分类-经典网络摘要

一、LeNet-5-------1998年

 

 由LeCun在1998年提出，用于手写数字分类

（1）提出了权重共享、特征图的概念

（2）**函数：双曲正切     

（3）网络权重初始化：均匀分布

（4）训练：BP+SGD

二、AlexNet------2012年

（1）使用ReLU**函数，减小梯度消失、防止过拟合，并加快了训练速度

（2）数据增强：对图像进行裁剪、翻转、变换等操作

（3）将SGD改为了动量SGD

（4）添加了dropout机制

三、ZF-Net------2013年

 主要贡献：ZF-Net其实就是在AlexNet的基础上进行了微调，但它的贡献是将CNN训练的过程进行了可视化（反卷积），使得其解释性大大增强，这个思想后来在语义分割上得到了发扬光大。

四、VGG-----2014年

VGG经典的有VGG16和VGG19，图中标红。VGG的拓展性很强，迁移到其他图片数据集上泛化性也很好，现在也经常用或者改

主要创新： 卷积全部采用3X3的小卷积核（因为研究发现两个3x3的卷积感受野大小等价于一个5x5的，三个等价于一个7x7的，所以完全可以用小的卷积核代替大的，这样大大减少了参数），感受野而定计算可以参考我的另一篇博客：https://blog.csdn.net/wodemimashi125/article/details/81562982

五、GoogleNet----2014

神经网络发展到现在已经取得了很大的成功，改进的思路就集中在增大网络的规模（深度、宽度），但单纯的这样做导致了两个问题：一是容易过拟合，二是计算量大大的增加。针对这个问题，GoogleNet引入了Inception模块。

Inception模块有几种演进，Inception V1借鉴了NIN网络1x1卷积的思想，采用多个不同大小卷积核并行的方法，并在前面加1x1卷积减少输入特征图的个数。Inception V2则进一步将5x5的卷积核用两个3x3的替代，降低网络参数。Inception V3再进一步将nxn的卷积核分解为1xn和nx1这种非对称结构，其实是把二维卷积改成了两个一维卷积。

 六、ResNet-----2015

随着CNN结构的不断加深，网络越来越难以训练，出现了退化现象（网络加深，训练集的性能反而变差，这不是过拟合）。这个时候ResNet出现了。主要创新是残差模块的思想。

不断的堆叠残差模块，形成了类似下面的结构

 利用残差思想，使得我们能够训练超深的网络。后面几年CNN就没有出现大的革新了。