Deep Feature Compression & Collaborative Intelligence 深度特征压缩&协作智能的发展历史

Collaborative Intelligence （协作智能）研究如何结合移动端和云端实现高效的部署。Collaborative intelligence is a new paradigm for efficient deployment of deep neural networks across the mobile-cloud infrastructure. 而Feature Compression（特征压缩）是研究如何把原始数据用数据量更小、特征密度更高的数据来表达。这两者的结合，将对下一代智能传感器、智能网络、5G网络带来更广泛的应用。

1. 概念提出

传统的方法需要把本地设备数据加密，传到云端，然后云端再进行解密计算。而随着5G时代到来，数据越来越大，对大数据进行加密解密消耗很大。因此2016年 "Dropping Activation Outputs with Localized First-layer Deep Network for Enhancing User Privacy and Data Security“ 提出了如下图所示的框架，把深度神经网络第一层放到设备端，传输网络输出到云端进行其他的运算。这样有两个好处，1）防止黑客从互联网上获取用户的原始数据，保证数据安全；2）防止云端获取用户原始数据，保护用户隐私，这点在医疗领域是非常重要的。

除了把数据推断和加密结合，这个思想还可以实现数据压缩的结合，如下图所示。

到了2018年，“Intermediate Deep Feature Compression: the Next Battlefield of Intelligent Sensing” 在数据压缩方面有了进一步的研究，实现了比HEVC更好的压缩效率。

另外一篇 “Near-Lossless Deep Feature Compression for Collaborative Intelligence” 也非常值得看一下。

未完待续