深度网络推理加速（Learning both Weights and Connections for Efficient Neural Networks）
摘要
针对卷积神经网络的结构在训练之前就已经被固定下来，因而训练过程无法优化网络结构，本文提出了一种三步法在保留网络能力的前提下进行剪枝。首先，让网络在训练中学习到哪些连接是重要的；其次，对不重要的连接进行剪枝；最后，在剪枝后的网路欧上进行微调。用该方法对ImageNet数据的AlexNet和VGG-16网络进行优化，分别将模型减小了十倍左右，而没有损失精度。
下图是在45nm工艺的CMOS芯片上基本的代数运算和内存操作的功耗，大的网络模型无法加载到片上存储中会导致需要大量的DRAM存储访问，其功耗比一次片上代数运算要高好几个数量级！