人工智能发展趋势
算法都差不多,
计算优化,IO优化,怎么样计算速度更快(分布式计算),怎么让CPU,GPU发挥到极致。
底层架构+分布式计算+算法==》无敌
经典卷积神经网络概述
• 卷积神经网络的发展规律
– 精度越来越高
– 层次越来越深
– 模型越来越复杂
– 参数越来越多
• 痛点
– 减少计算量和IO,应用到移动端
– 减少冗余,提高泛化能力
• 业界
图1:ImageNet大赛历年冠军
1、输入特征图(input feature)的数量决定于?2、输出特征图(output feature)的数量决定于?3、通道的数量决定于?
1、滤波器(filter) 2、通道(channel) 3、卷积核(kernel)
卷积神经网络的进化规律总结
• LeNet->AlexNet->VGG->NIN>GoogleNet->ResNet
– 网络结构越来越深,精度越来越高(性能)
– 卷积功能越来越强,精度越来越高(性能)
– 计算和存储量并没有随着网络层次的增多而线性增长(计算)
• 用到技术
– 从神经元出发,ReLU
– 从权值参数出发,Dropout、GP、LRN、BN
– 从拓扑结构出发,比如1*1卷积、分支卷积、瓶颈结构