Mnasnet论文解析及开源实现
1. 简介
设计移动设备上的CNN模型具有挑战性，需要保证模型小速度快准确率高，人为地权衡这三方面很困难，有太多种可能结构需要考虑。本文中作者提出了一种用于设计资源受限的移动CNN模型的神经网络结构搜索方法。作者提出将时间延迟信息明确地整合到主要目标中，这样搜索模型可以识别一个网络是否很好地平衡了准确率和时间延迟。
在《MnasNet: Platform-Aware Neural Architecture Search for Mobile》一文中，作者探索了一种使用强化学习设计移动端模型的自动化神经架构搜索方法。为了处理移动端速度限制，将速度信息纳入搜索算法的主要奖励函数中，以便搜索可以识别一个在准确率和速度之间实现良好平衡的模型。如此，MnasNet 能够找到运行速度比 MobileNet V2（手工制造的最先进水平）快 1.5 倍、比 NASNet 快 2.4 倍的型号，同时达到同样的 ImageNet top-1 准确率。
2. 网络介绍
2.1 总体流程
总体流程主要包括三个部分：一个基于 RNN 的学习和采样模型架构控制器，一个建立和训练模型以获得准确率的训练器，以及一个使用 TensorFlow Lite 测量真实手机上模型速度的推理引擎，作者制定了一个多目标优化问题，旨在实现高准确率和高速，并利用带有定制奖励函数的强化学习算法来寻找帕累托最优解。
2.2 Mnasnet结构
- 1.作者提出一种基于强化学习的多目标神经结构搜索方法，该方法能够在低推理延迟的条件下找到高精度的CNN模型。
- 2.提出一种新的分解分层搜索空间（factorized hierarchical search space），通过在灵活性和搜索空间大小之间取得适当的平衡，最大限度地提高移动设备上模型的资源效率。
3.后记
-
在相同的准确度下，MnasNet 模型的运行速度比手工设计的最先进的 MobileNetV2 模型快 1.5 倍，并且比 NASNet 快 2.4 倍，而 NASNet 也是使用架构搜索的方法。在应用压缩和**优化方法后，我们的 MnasNet+SE 模型实现了 76.1% 的 ResNet-50 level top-1 准确率，并且参数数量是 MnasNet 的 1/19，乘加运算数量是 MnasNet 的 1/10。在 COCO 物体检测方面，我们的模型系列实现了比 MobileNet 更高的准确度和更快的速度，并且在 1/35 的计算成本下实现了与 SSD300 模型相差无几的准确度。
基于Mnasnet良好的速度、准确度以及模型大小的控制，我们复现了该网络的结构，并提供了网络的pretrain model。