论文笔记-混合卷积MixConv: Mixed Depthwise Convolutional Kernels

Hello，今天是论文阅读计划的第9天啦～

调整计划后，现在都趁着早上最安静最无打扰的时候看论文，完成每天的论文阅读任务。

今天我们介绍一篇混合卷积的内容，我最初找到这篇论文呢，是因为我自己做的论文，在思考怎么能让它更好的补获时序信息。所以现在会有意识的培养自己论文阅读的习惯，不断累积更多的想法，在未来突然有需要的时候，脑袋里不会空空如也。

一、题目关键词解读

MixConv: 混合卷积，思考怎么混合法？大概是不同大小的卷积吧，但具体怎么设置还要继续往下看。
Depthwise: DW卷积，最初了解到它的时候是在MobileNet里面。

二、研究背景

目前的大部分神经网络中使用小卷积核来代替大卷积核，同时可以使用多个小卷积核串联代替大卷积核，这样可以减少模型的参数量，也就是说使用33的卷积核连续卷积2次可以达到55的卷积核卷积1次提取特征图的能力。同时使用小卷积核代替大卷积核具有以下几个优点：整合了多个非线性**层，代替单一非线性**层，增加了判别能力；减少了网络参数；减少计算量。但是使用大卷积核有利于获得较多的全局信息，适用于大分辨率模型中；小卷积核有利用用于较低分辨率的模型中，这里就是将不同大小的卷积核应用在同一层中，不过这里使用的深度可分离卷积。

三、研究目标 & 内容

目标：利用不同卷积核尺寸的优势，使网络能在不同分辨率下进行更好的特征提取。

内容：将多个不同尺寸的卷积核组合成一个单独的深度卷积，使该深度卷积操作易于从输入图像中获取不同类型的模式（不同分辨率）。使用神经结构搜索技术进一步构建了一系列新的MixNets。

四、方法

作者的神经结构搜索设置与当前的MnasNet、FBNet、ProxylessNAS相似，使用MobileNetV2作为基础网络结构，寻找最优的卷积核尺寸、扩张率、通道数，以及其他设计选择。然而，与已有工作不同（使用普通深度卷积作为基础卷积），作者使用其提出的MDConv作为搜索选项。

MDConv是一个灵活的卷积操作，具有多个设计选择：主要考虑的是可分的组数，分组方式以及每一组使用卷积核的大小。

为了明白为什么MixNet能达到更高的准确性和效率，图8给出了表2中MixNet-S和MixNet-M的网络结构。一般来说，在整个网络中，它们都使用了具有不同卷积核尺寸的多个MDConv：通常在早期阶段使用小卷积核来减少计算开销，在后期阶段使用大卷积核来获取更高的准确性。作者发现更大的MixNet-M倾向于使用更大的卷积核和更多的层来取得更高的准确性，很自然，这将需要更多的参数和FLOPS。

五、结论

在本文中，我们重新审视了核大小对深度卷积的影响，并指出传统的深度卷积受到单个核大小的限制。为了解决这个问题，我们提出了MixConv，它在一个操作中混合多个内核，以利用不同的内核大小。我们表明，我们的混合卷积是普通深度卷积的简单替代，并且在图像分类和对象检测任务上提高了移动网络的准确性和效率。基于我们提出的混合网络，我们使用神经结构搜索技术进一步开发了一个新的混合网络家族。实验结果表明，在图像网分类和四个广泛使用的迁移学习数据集上，我们的混合网比所有最新的移动混合网具有更好的准确性和效率。

六、总结

如果以略读的角度来说，本文需要吸收的一个方法是，使用不同大小的卷积核的组合来进行特征提取，有利于适应不同分辨率的情况。较为前面的比较浅的层，可以使用小卷积，同时可以减少参数量、计算量，较为后面比较深的层，可以使用大卷积，更能捕获到全局信息。