5月学习笔记：基础网络，加速模型，shuffleNet等
名词解释：
group conv
https://blog.****.net/hhy_****/article/details/80030468
https://blog.****.net/blogshinelee/article/details/86094419
最早出现于AlexNet，为解决显存不够问题。Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果
Depthwise卷积与Pointwise卷积
https://blog.****.net/tintinetmilou/article/details/81607721
Depthwise Separable Convolution可分离卷积，是将一个完整的卷积运算分解为两步，即Depthwise Convolution与Pointwise Convolution。Google的Xception及MobileNet
Depthwise: 每个通道分别进行卷积操作，din个k*k二维卷积,，输出din个feature map，参数量din *k * k
Pointwise ：改变通道数din->dout，卷积核尺寸 1×1×din，channel上进行加权组合，参数量:dout*1*1*din
优点：1. 减少参数量，dout*k*k*din->din*k*k+dout*1*1*din
2.特征效果更佳，每个通道使用不同的卷积，对每个通道都进行了学习，再对不同通道进行结合，而不是所有通道对应同一个过滤器
CNN网络优化学习总结——从MobileNet到ShuffleNet
https://blog.****.net/sun_28/article/details/78170878
MobileNet
https://arxiv.org/pdf/1704.04861.pdf
用depthwise sparable convolutions替代过去standard convolutions
优点：1）提高卷积网络的计算效率，压缩参数同时还压缩了计算量
2）可分离卷积模块充分发挥现代CPU计算能力与数据读取效率，这些优化还不影响准确率，广泛应用移动终端
ShuffleNet
https://arxiv.org/abs/1707.01083
分组卷积没有 Channel Correlation, 用 Channel Shuffle 来解决这个问题