早餐｜第十五期 · OpenVINO大家族

早餐｜第十五期 · OpenVINO大家族

爱分享的 OpenVINO 中文社区

内容来源|曹慧燕
文案 / 排版 | 卢 书 晴
*music by audionautix.com

小伙伴们，早上好呀~
今天我们来认识一下
OpenVINO 大家族

这里的成员可真不少
想知道都有谁
就快品尝新一期的 OpenVINO 早餐吧！

作者介绍

○ 曹慧燕

英特尔
IOTG Edge
AI 工程师

正餐部分

音频放映

文本阅读

前面我们说过， OpenVINO 是一个模型部署工具，它不支持模型训练，所以在使用 OpenVINO 之前，我们要有一个训练好的模型。目前 OpenVINO 支持的模型训练框架有 tensorflow 、caffe、Kaldi、MxNet，以及 ONNX 模型格式。像 Pytorch、PaddlePaddle 这些框架，需要先将他们的模型文件转成 ONNX 格式。另外，在新发布的2020.4版本中开始支持 tensorflow 2 的模型。

01

有了训练好的模型后，我们就可以使用模型优化器 model optimizer 对模型进行优化，并且生成 OpenVINO 支持的模型文件格式，我们把它叫做 IR 文件。模型优化器就是一组 python 脚本，对模型进行转换的过程中，会对模型的拓扑结构进行优化，另外还支持 FP16 精度的模型量化。

02

有了 IR文件后，我们就可以调用推理引擎 Inference Engine ，将模型部署到 OpenVINO 支持的硬件平台上。Inference engine 是一堆通用的 API 函数，对于应用程序开发者来说，他不需要关心底层的硬件实现。不同的硬件平台，以 plugin 的方式实现这些API ，同时在底层对模型进行指令级别的优化。应用程序开发测试完成后，可以使用Deployment Manager 工具生成最小部署包进行产品部署。

另外，在 Intel 的 Open Model Zoo 中，目前已经有100多个 Intel 优化过的预训练模型以及80多个 public 的模型。这些模型文件，都已经是 OpenVINO 支持的 IR 格式的模型文件。还有大量的 samples 和 demos 演示了如何使用这些模型供大家参考。
03

其他有用的工具，在 Intel 分发版的 OpenVINO 工具包中，还有一些其他有用的工具，像 post training optimization Tool（POT） ，它是一个 INT8 的模型量化工具。DL workbench ，是一个有UI的性能调优工具。它的后端集成了 Model Optimizer , Inference Engine , POT 等工具。使用 DL Workbench ，导入模型和测试数据集，选择硬件平台，就可以通过设置不同的参数进行模型部署的性能模拟，同时还可以查看网络模型在运行时每一层的执行时间，从而进行性能分析。DL Streamer 是一个主要用来做视频流分析的工具，它的后端也是集成了 inference engine 对视频中的图像进行推理。另外还有一些像 OpenCV , OpenCL 这些开源的图像处理工具及框架。

OpenVINO 全家福（小剧透：这是之后的早餐内容哟~）

END

今天的早餐就分享到这里，小伙伴们，如果你有更多的问题，欢迎加入我们 OpenVINO 社区，和我们一起分享、解决。

有想法的小伙伴可以在留言区告诉我们，交流心得体会。欢迎感兴趣的小伙伴赶快加入我们吧！

感谢大家收听，我们下期节目再见！

原文发布于2020-08-20：早餐｜第十五期 · OpenVINO大家族

关注我们，让开发变得更有趣????

微信号：openvinodev
B站：OpenVINO 中文社区

*OpenVINO and the OpenVINO logo are trademarks of Intel Corporation or its subsidiaries.