(DL Classification)Review: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Ref

• Tensorflow EfficientNet

• Pytorch EfficientNet and Pretrained

根据上图所示，分类网络模型往往是在width, height, resolution三个方向进行设计，所以作者想到，对三个因素都进行调整是否能得到一个更好的模型

Compound Model Scaling

Width, Depth, Resolution分别对网络模型的影响

通过以上实验，作者还得到两条定理：

• Width, Height, Resolution , 调整任何一个维度参数，都能提升精确率，但是如果模型很大的时候，不再有提升效果。
• 如果网络模型进一步获得更好的效果，需要严格平衡Width, Height, Resolution三个维度的参数。

Model

作者首先根据[MnasNet](Tan, M., Chen, B., Pang, R., Vasudevan, V., Sandler, M.,
Howard, A., and Le, Q. V. MnasNet: Platform-aware
neural architecture search for mobile. CVPR, 2019.) 的方法，NAS一个baseline出来，作为EfficientNet-B0。 网络结构如下所示：

根据公式（3），作者首先固定$\Phi$Φ的值，grid search $\alpha, \beta , \gamma$α,β,γ三个的数值；

然后固定$\alpha ,\beta, \gamma$α,β,γ 三个的值，调整 $\Phi$Φ 值获得EfficientNet-B1 到B7模型。

表1 . 所有模型在ImageNet上的表现

结论

这篇文章中，作者最大的贡献是提出严格平衡Width, Depth, Resolution三个维度值，是的经过调整后的模型精确度更高的同时，参数量也更少。