轻量级神经网络MobileNet [V1 V2 V3]主要思想
1. MobileNet,从V1到V3
https://zhuanlan.zhihu.com/p/70703846
1.1 MobileNet V1
主要思想:
-
采用了深度可分离卷积(depthwise separable convolution)来提高网络的计算速度,depthwise separate convolution包含了深度卷积(depthwise convolution)和逐点卷积(pointwise convolution)。
-
**函数采用的是ReLU6
1.2 MobileNet V2
主要思想:
- Expansion layer
在DW深度卷积之前使用PW卷积进行升维(升维倍数为t,t=6),再在一个更高维的空间中进行卷积操作来提取特征
2. Inverted residuals
3. 加入了1×1升维,引入Shortcut并且去掉了最后的ReLU,改为Linear。步长为1时,先进行1×1卷积升维,再进行深度卷积提取特征,再通过Linear的逐点卷积降维。将input与output相加,形成残差结构。步长为2时,因为input与output的尺寸不符,因此不添加shortcut结构,其余均一致。
1.3 MobileNet V3
MobileNet V3 = MobileNet v2 + SE + hard-swish activation + half initial layers channel & last block do global average pooling first
主要思想:
-
采用的神经结构搜索(NAS)得到的V3模型。由资源受限的NAS执行模块级搜索,NetAdapt执行局部搜索。
-
采用了新的非线性**函数引入h-swish**函数。
swish函数:
h-swish函数(hard-swish):
3. 将最后一步的平均池化层前移并移除最后一个卷积层,对最后的特征做处理:
4. 引入基于squeeze and excitation结构的轻量级注意力模型(SE)
网络模块: