早餐｜第十四期 · 聊聊OpenVINO的使命

早餐｜第十四期 · 聊聊OpenVINO的使命

爱学习的 OpenVINO 中文社区

内 容 来 源 | 曹慧燕
排 版 | 李擎
*music by audionautix.com

大家好，这里是OpenVINO早餐
在上一期的节目中，给大家简单介绍了一些边缘计算的应用场景
这些场景的丰富多样性，其实也给深度学习的落地带来了一定的挑战
那么今天我们来和大家聊一聊 OpenVINO 的使命

作者介绍

○ 曹慧燕

英特尔
IOTG Edge
AI 工程师

正餐部分

视频放映

文本阅读

正如我们前面提到的，模型训练通常部署在云端，边缘端的算力和存储跟云端是没有办法相比的，所以通常我们在边缘端部署模型的时候会对模型做一些压缩，比如我们常说的对模型进行剪枝，还有模型量化之类的技术。如何确保模型压缩前后的精度不会损失太多，这是我们面临的一个挑战。另外，在云端开发训练模型，在边缘端部署，整个方案的集成中间也会碰到各种各样的问题。同样的模型，部署到不同的边缘端，也面临着各种软硬件平台支持的挑战。

目前行业中大家都在致力于解决深度学习落地的这些挑战。OpenVINO就是英特尔提出的，用于解决在英特尔的不同硬件平台上部署深度学习的一个统一的解决方案。

那OpenVINO的优势又在哪里呢？OpenVINO在模型部署前，首先会对模型进行优化，模型优化器会对模型的拓扑结构进行优化，去掉不需要的层，对相同的运算进行融合、合并以加快运算效率，减少内存拷贝；FP16、INT8量化也可以在保证精度损失很小的前提下减小模型体积，提高模型的性能。在部署方面，OpenVIVO的开发也是相对比较简单的，提供了C、C++和python3种语言编程接口。它最大的优势呢，其实还是在Intel的不同硬件平台上进行部署的时候，移植会很方便。推理引擎对不同的硬件提供统一的接口，底层实现直接调用硬件指令集的加速库，应用程序开发人员不需要关心底层的硬件实现，即可在不同的硬件平台上加速模型推理。

好了，希望听完这三期的闲聊，大家对OpenVINO的应用场景有一个大概的了解了，不需要再问我OpenVINO可不可以训练模型了

原文发布于2020-08-10：早餐｜第十四期 · 聊聊OpenVINO的使命

关注我们，让开发变得更有趣????

微信号：openvinodev
B站：OpenVINO 中文社区

*OpenVINO and the OpenVINO logo are trademarks of Intel Corporation or its subsidiaries.