华为的深度学习平台:ModelArts
ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。
“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持像Tensorflow、MXNet等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。
ModelArts的理念就是让AI开发变得更简单、更方便。
面向不同经验的AI开发者,提供便捷易用的使用流程。例如,面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。
产品架构
ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、部署等操作,并且提供AI市场功能,能够在市场内与其他开发者分享模型、API和数据集。
ModelArts支持应用到图像分类、图像检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。
图1 ModelArts架构
产品优势
-
一站式
开“箱”即用,涵盖AI开发全流程,包含数据处理、模型开发、训练、管理、部署功能,可灵活使用其中一个到多个功能用于开发工作。
易上手
提供多种预置模型,开源模型想用就用。
模型超参自动优化,简单快速。
零代码开发,简单操作训练出自己的模型。
支持模型一键部署到云、边、端。
高性能
自研MoXing深度学习框架,提升算法开发效率和训练速度。
优化深度模型推理中GPU的利用率,加速云端在线推理。
可生成在Ascend芯片上运行的模型,实现高效端边推理。
灵活
支持多种主流开源框架(TensorFlow,Spark_MLlib等)。
支持主流GPU和自研Ascend芯片。
支持专属资源独享使用。
支持自定义镜像满足自定义框架及算子需求。
-
数据治理
支持数据筛选、标注等数据处理,提供数据集版本管理,特别是深度学习的大数据集,让训练结果可重现。
-
极“快”致“简”模型训练
自研的MoXing深度学习框架,更高效更易用,大大提升训练速度。
-
云边端多场景部署
支持模型部署到多种生产环境,可部署为云端在线推理和批量推理,也可以直接部署到端和边。
-
自动学习
支持多种自动学习能力,通过“自动学习”训练模型,用户不需编写代码即可完成自动建模、一键部署。
-
可视化工作流
使用GES(图引擎服务)统一管理开发流程元数据,自动实现工作流和版本演进关系可视化,进而实现模型溯源。
-
AI市场
预置常用算法和常用数据集,支持模型在企业内部共享或者公开共享。
繁多的AI工具安装配置、数据准备、模型训练慢等是困扰AI工程师的诸多难题。为解决这个难题,华为云将一站式的AI开发平台(ModelArts)提供给开发者,从数据准备到算法开发、训练模型,最后把模型部署起来,集成到生产环境。一站式完成所有任务。ModelArts的功能总览如下图所示。
图2 功能总览
ModelArts特色功能如下所示:
机器学习初学者
黄海广博士创建的公众号,黄海广博士个人知乎粉丝22000+,github排名全球前120名(31000+)。本公众号致力于人工智能方向的科普性文章,为初学者提供学习路线和基础资料。原创作品有:吴恩达机器学习个人笔记、吴恩达深度学习笔记等。
往期精彩回顾