论文笔记：MobileNets

简介

这篇文章提出了一个轻量级网络，应用深度可分离卷积代替标准卷积，大幅减少了计算量，同时准确度没有受到太大的影响。此外，文中提出了两个超参数以满足

方法

对于一个

图中，输入特征F的尺寸为$(D_F,D_F,M)$(DF​,DF​,M)，采用的标准卷积K的尺寸为$(D_K,D_K,M,N)$(DK​,DK​,M,N)（如图所示），输出特征G的尺寸为$(D_G,D_G,N)$(DG​,DG​,N)。标准卷积的计算公式如下：

输入特征的通道数为M，输出特征的通道数为N，所以对应的计算量为 。深度可分离卷积将标准卷积拆分成深度卷积与逐点卷积两步：
λ 深度卷积主要负责滤波，滤波器尺寸为$(D_K,D_K,1,M)$(DK​,DK​,1,M)，如图4.7 b所示。输出的特征尺寸为$(D_G,D_G,M)$(DG​,DG​,M)；
λ 逐点卷积主要负责转换通道，滤波器尺寸为（1，1，M，N），如图4.7 c所示。输出的特征尺寸为$(D_G,D_G,N)$(DG​,DG​,N)。
深度卷积的计算公式如下：

其中是深度卷积，卷积核尺寸为（），其中的第m个卷积核作用在F中第m个通道上，产生上第m个通道输出。由此可得深度卷积和住店卷积的计算量为。而直接进行标准卷积的计算量为，二者的比值为：

由此可知，在把标准卷积替换为深度可分离卷积后，运算量大幅减小。

MobileNet网络结构如图所示：

除此之外，引入$\alpha$α和$\rho$ρ两个超参数来进一步减小计算量，同时方便开发者根据自己实际的资源DIY。其中，$\alpha$α表示网络尺寸减小的比例，每一层的输入通道数和输出通道数都减小为原来的$\alpha$α倍，从而计算量变成：

$\rho$ρ表示输入图像分辨率减小的比例。