【论文阅读笔记】-《Quantized Convolutional Neural Networks for Mobile Devices》
GitHub code: https://github.com/jiaxiang-wu/quantized-cnn
paper add: https://arxiv.org/abs/1512.06473
Quantized -CNN是一种卷积神经网络量化框架,在测试阶段可以进行计算加速和模型压缩。移动设备可以利用Quantized -CNN框架进行有效的时实图像分类,只有极小的准确性损失。文章测试的硬件平台是华为mate10,在在ILSVRC-12基准测试上进行了大量的实验,结果表明有4~6倍的加速和15~20倍的压缩,分类准确率仅下降了1个百分点,如下图所示:
我们知道,模型的耗时主要集中在卷积层,参数主要集中在全连接层,论文主要思想是量化卷积的kernel和FC的权值矩阵,论文针对卷积和全连接层采取了不同的量化方法,不过都是基于权重共享策略,采用k-means聚类算法加速和压缩模型的卷积层和全连接层,通过量化网络参数,用近似内积计算有效地估计卷积和全连接层的响应,最小化参数量化期间每层响应的估计误差,更好地保持模型性能。通过减小每层输出响应的估计误差可实现更好的量化结果,并提出一种有效的训练方案抑制量化后的多层累积误差 .