算法都差不多，

计算优化，IO优化，怎么样计算速度更快（分布式计算）,怎么让CPU，GPU发挥到极致。

 

底层架构+分布式计算+算法==》无敌

 

经典卷积神经网络概述

•    卷积神经网络的发展规律
–    精度越来越高
–    层次越来越深
–    模型越来越复杂
–    参数越来越多
•    痛点
–    减少计算量和IO，应用到移动端
–    减少冗余，提高泛化能力
•    业界

 图1：ImageNet大赛历年冠军

 

1、输入特征图（input feature）的数量决定于？2、输出特征图（output feature）的数量决定于？3、通道的数量决定于？

1、滤波器（filter） 2、通道（channel） 3、卷积核（kernel）

 

 

 

卷积神经网络的进化规律总结

•    LeNet->AlexNet->VGG->NIN>GoogleNet->ResNet
–    网络结构越来越深，精度越来越高（性能）
–    卷积功能越来越强，精度越来越高（性能）
–    计算和存储量并没有随着网络层次的增多而线性增长（计算）
•    用到技术
–    从神经元出发，ReLU
–    从权值参数出发，Dropout、GP、LRN、BN
–    从拓扑结构出发，比如1*1卷积、分支卷积、瓶颈结构