如何使用 TI-ONE 平台内置框架玩转算法大赛
背景
- 在这篇文章中,我们用一个测试案例向您介绍智能钛机器学习平台(TI-ONE)内置框架的使用流程。以下内容和数据路径均为示例,仅演示流程,并非比赛官方数据。
- 如果您对智能钛机器学习平台(TI-ONE)的基本情况还缺乏了解,您可以阅读 什么是智能钛机器学习平台。
- 在开始之前,请确保您已经完成了注册与开通智能钛服务。
智能钛平台的框架版本如下:
深度学习框架:
- TensorFlow:1.12
- PyTorch:1.1.0
- PyCaffe:1.0.0-rc3-ssd
机器学习框架:
- Spark:2.4
- PySpark:2.4
- Analytics Zoo:0.7.0
一、新建工程与任务流
要使用智能钛机器学习平台建模,首先需要完成新建工程和工作流。
1.新建工程
登陆 智能钛机器学习平台控制台,将平台地域切换为您开通服务时所选地域。在工程列表页面,单击【我的工程】>【新建工程】。
根据提示填写工程信息,在下拉列表处选择 Bucket 名称,该工程里的训练数据、中间结果等内容将存入此 Bucket。注意COS Bucket 需要与平台处于相同区域。
2.新建任务流
在工程中单击“+”号,您可新建自定义任务流。创建完成后点击进入画布。
二、获取数据路径
- 进入画布后,将【输入】-【公共数据集】-【算法大赛数据集】拖入画布,该数据集包括训练集和测试集。
- 点击该组件,在右侧弹框中我们可以看到数据路径。建议您对该路径进行拷贝及存储,后续您需要通过入参形式进行数据导入。
注意,只有在各框架参数的【程序参数】栏目里才可以使用
${ai_dataset_lib}
和${cos}
此类标识符,因此您需要将数据集的输入和输出路径通过【程序参数】传递,而不能在脚本中直接导入。
在本案例中,路径如下:
训练集路径:${ai_dataset_lib}/contest/demo/iris_training.csv
测试集路径:${ai_dataset_lib}/contest/demo/iris_test.csv
三、模型训练
1.选择框架
您可以在左侧算法栏中选择合适的框架。找到该框架拖入画布中,框架会与数据集自动连线,过程中任何连线或框架选择有误都可以通过【右键删除】。在本案例中,我们选择【TensorFlow】框架进行模型训练。
注意:使用框架训练需要通过入参的方式接入数据集,故在此处连线仅表示算子运行的前后顺序,不代表数据流向。您可以将数据集与框架相连进行训练,也可以在记录下数据集路径后将数据集组件删除,只拉取框架进行训练。
2.配置算法参数
点击该框架,在右侧弹窗中配置组件参数和资源参数,请您根据实际数据集情况进行填写。如果您使用内置框架,输出的结果文件需要与大赛要求的结果文件格式一致。
本案例参数配置如下。
- 程序脚本:点击此处上传您的自定义代码。您可以【直接上传】本地文件,或选择【新建脚本】,在线编辑并上传。
- 依赖包文件:如果入口脚本需要 import 项目中的其它自己编写的模块,需要将其它模块的代码上传至此。多个.py文件需要直接压缩成 zip 包上传,该 zip 包会被添加到 Python 的 path 中。需要注意,文件格式需要是.zip格式,通过tar压缩的格式不属于其类。
- 程序参数:
- 此处填入用户自定义参数,自定义参数将会传递给入口 py 文件。您需要将数据集的输入和输出路径通过此处传递,注意只有在程序参数里才可以使用
${ai_dataset_lib}
和${cos}
此类标识符,其中${cos}
代表任务流所在的COS存储桶的根目录。 - 输入路径:训练集和测试集路径我们已通过【算法大赛数据集】获取。
- 输出路径:由用户自己指定。您可以在自己的 COS 存储桶中新建文件夹如【contest_result】,模型将会存储至该路径中,以便后续导入模型时查找。
- 本案例中,各类程序参数填写如下:
--train_path ${ai_dataset_lib}/contest/demo/iris_training.csv
--test_path ${ai_dataset_lib}/contest/demo/iris_test.csv
--result_dir ${cos}/contest_result
- TensorBoard 目录:指定 Tensorboard 保存路径。本案例此处无需填写。
- 程序依赖:指定存储于cos上的依赖文件的路径,指定内容将被拷贝到程序脚本同一级目录下。本案例此处无需填写。
- Python 版本:选择您需要的版本。本案例选择 3.5。
- 资源类型:您可以按需选择。本案例选择 TI.MEDIUM4.2core4g。
四、运行工作流
配置完成后,单击画布上方【保存】可保存工作流,点击【运行】可运行工作流。
五、结果上传
训练完成后,您可以通过以下步骤进行结果文件的获取和上传。
1.结果文件路径
在框架参数的编写过程中,您已经指定了结果的储存路径,您可直接进入 COS 存储桶进行查找。本案例中,我们指定【contest_result】为存储路径。在COS 存储桶的文件列表中找到该文件夹,点击即可获取您的训练结果文件。
2.获取结果地址
您可以自行下载文件,点击【详情】,即可在详情页面获取【对象地址】。后续您可以在官网进行结果上传。
至此,我们完成了使用智能钛机器学习平台的内置框架训练模型的流程。在使用过程中,如果您想了解更多的操作详情、框架介绍和使用案例,请参考TI-ONE 官方文档。