笔记——Learning Transferable Architectures for Scalable Image Recognition

主要思想：

​通过NAS(Neural Architecture Search Framework)在CIFAR-10 dataset上找到最优的网络结构，再扩展到ImageNet dataset上。
​模型提升——​ This paper 1.2%better computer cost: a reductionof 28%

定义优化问题：

• 定义两种类型的convolution layer：
  ​ a. Normal Cell: 输入输出的feature map大小相同
  ​ b. Reduction Cell: 输出feature map height/2, width/2
• 上述两种layer中可以包含如下操作：

• 整体架构如Figure2所示
  ​ 每当feature map大小减小一半，filter个数加倍2x
  

• 优化目标参数：Normal layer的重复个数N，初始层的filter参数，两种layer的内部结构

优化过程：(随便贴个图，反正知道了也没用，需要500+GPU训若干天)

• NAS(Neural Architecture Search Framework)
  
  

最优结构：

越来越接近生物神界结构

结果评测：

([email protected]，表示Normal Cell重复次数N=6，网络中倒数第二层的filter个数为768)

​ 无论是任务迁移(从分类应用到检测)还是模型压缩(移动设备)方面，NAS都表现很优秀