代码开源:Channel Pruning for Accelerating Very Deep Neural Networks
代码开源:Channel Pruning for Accelerating Very Deep Neural Networks
[PDF] [Code]
这是我们今年 ICCV 2017 的工作。
基于CNN每一层都是稀疏地假设,我们考虑是否能找到neuron之间的关系,仅留下最具有代表性地neuron?
分为两步解决问题:
- 找出每一层具有代表性地neuron,我们利用lasso regression来进行类似model selection的过程。将剩余的neuron去掉(pruning)。
- 利用剩下的代表性neuron来重构(reconstruction)这一层原本的输出。
实验效果:
- VGG-16, 4倍加速, Top-5 accuracy 下降 0.0
- Xception-50, 2倍加速, Top-5 accuracy 下降 1.0