研一汇报第八周（2019.12. ）

论文《DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING》-斯坦福/清华 2016

深层压缩：通过修剪，训练量化和哈夫曼编码压缩深层神经网络

目的：减少大型网络所需的存储量和计算量，以便部署在移动设备上。

结论：显示相似的结果而不丢失准确性，将卷积网络放入移动应用程序的存储需求较小，深度压缩有助于在应用程序大小和下载带宽受到限制的移动应用程序中使用复杂的神经网络。

NETWORK PRUNING（网络修剪）
网络修剪主要为了减少网络复杂度和防止过拟合。
修剪的方法：将所有权重低于阈值的连接从网络中删除，然后对网络重新训练。

TRAINED QUANTIZATION AND WEIGHT SHARING(训练量化和权重共享)
减少表示每个权重所需的位数进一步压缩了修剪后的网络，通过多个连接共享权重进行微调。

eg：4*4 =16 只需4个共享权重【相似权重组合在一起共享相同的值】

簇-质心-修剪后的质心

权重共享：K-均值聚类 同一集群的所有权重共享相同权值

HUFFMAN CODING（哈夫曼编码）

哈夫曼通常用于无损压缩的最佳前缀码，使用可变长度码字对源符号进行编码。