神经网络基础结构演进趋势洞察
自从2012年AlexNet激起新一轮深度学习热潮以来，深度神经网络快速发展，众多教授、博士迅速挖坑、填坑，把神经网络的基础结构研究的透透彻彻。最近整体看了几十篇神经网络基础结构的文章，作为备忘，简单整理记录如下：
| 名称 | 推出时间 | 核心创新点 |
|---|---|---|
| AlexNet | 2012 | 深度学习开山之作，ReLU、DropOut、池化 |
| VGG | 2014.9 | 小尺寸卷积核，全3*3卷积核 |
| GoogLeNet (Inception V1) | 2014.9 | 分组卷积、模块化、1*1卷积、全局平均池化替代全连接 |
| Inception V2/V3 | 2015.2/12 | BN、卷积分解（n*n卷积分解为1*n+N*1） |
| ResNet | 2015.12 | 残差 |
| SqueezeNet | 2016.2 | 轻量化网络，1*1卷积、分组卷积 |
| DenseNet | 2016.8 | 各层全连通 |
| Xception | 2016.10 | Depthwise卷积 |
| MobileNet V1 | 2017.4 | 轻量化网络，depthwise和pointwise（即1*1）卷积 |
| ShuffleNet | 2017.7 | 轻量化网络，多种技术的综合优化，多通道卷积时的通道shuffle |
| MobileNet V2 | 2018.1 | 轻量化网络，逆向残差模块（ResNet里通过1*1降维，这里是升维）、线性bottleneck |
几点说明：
1. 挂一漏万，这些是个人认为比较重要的基础网络结构；
2. 有些结构可能不是该网络首创，但通常认为是该网络发扬光大；
3. Inception V2/V3在V3那篇文章（Rethinking the Inception Architecture for Computer Vision）里有明确的定义，但是到V4那篇文章里又有了新的说法，两篇文章文章里关于V2的说法好像是不一样的，此处采纳V3文章里的说法。
从以上表格可以看出这么几个趋势：
1. 重要的基础网络基本都在2016年以前发布的，而2016年以后重点已经转到轻量化网络上了；
2. 对于保持网络精度的同时降低网络规模起到重要作用的技术包括：小尺寸卷积（现在的网络基本统一到3*3卷积上了，通过多层级联可以获得大尺寸卷积的作用）、分组卷积（也就是group conv）、卷积分解（用1*n+n*1替代n*n卷积）、depthwise卷积、1*1卷积（或者叫bottleneck或pointwise卷积）、全局平均池化替代全连接；
3. 对于网络加深和训练快速收敛起作用的技术包括：BN和残差。这两个技术目前都得到了广泛的应用；
4. 模块化对于缩小设计空间，简化复杂模型设计非常重要。
关于这些网络的对比，有这么一篇文章做了总体介绍：An Analysis of Deep Neural Network Models for Practical Applications, https://arxiv.org/abs/1605.07678 。下图摘自这篇文章：
从这个图里可以看到：
1. 针对ImageNet分类数据集，top1准确率在75%~80%附近饱和，在现有网络结构下，不管怎么增加计算，也很难进一步快速提升；
2. 饱和点大概在Inception V3和ResNet50附近，之后需要计算量大幅提高才能获得一点准确率的提升；
3. VGG实在是效率很低的网络，参数量多、计算量大，而分类精度却是一般；
4. Inception是效率挺高的网络，但相对来说，需要比较精细的设计，因而可移植性差一些；而ResNet简单很多，只是在普通卷积网络的基础上加上残差连接，通用性非常强，因此这些年应用极广。
以上，个人简单想法，做个记录。