急速搭建 Serverless AI 应用:为你写诗

前言

首先介绍下在本文出现的几个比较重要的概念:

函数计算(Function Compute)函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考
Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件(template.yml),协助您进行开发、构建、部署操作。Fun 的更多文档参考

备注: 本文介绍的技巧需要 Fun 版本大于等于 3.2.0。

依赖工具

本项目是在 MacOS 下开发的,涉及到的工具是平台无关的,对于 Linux 和 Windows 桌面系统应该也同样适用。在开始本例之前请确保如下工具已经正确的安装,更新到最新版本,并进行正确的配置。

Fun 和 Fcli 工具依赖于 docker 来模拟本地环境。
对于 MacOS 用户可以使用 homebrew 进行安装:

急速搭建 Serverless AI 应用:为你写诗

Windows 和 Linux 用户安装请参考:

  1. https://github.com/aliyun/fun/blob/master/docs/usage/installation.md
  2. https://github.com/aliyun/fcli/releases

安装好后,记得先执行 fun config 初始化一下配置。

注意, 如果你已经安装过了 fun,确保 fun 的版本在 3.2.0 以上。

急速搭建 Serverless AI 应用:为你写诗

背景

AI model serving 是函数计算一个比较典型的应用场景。数据科学家训练好模型以后往往需要找软件工程师把模型变成系统或者服务,通常把这个过程称之为 model serving。函数计算无需运维和弹性伸缩的特性,正好符合数据科学家对高可用分布式系统的诉求。本文将介绍把一个 TensorFlow CharRNN 训练的自动写五言绝句古诗的模型部署到函数计算的例子。

基本上所有的 FaaS 平台为了减少平台的冷启动,都会设置代码包限制,函数计算也不例外。由于 python TensorFlow 依赖库和训练的模型的文件有数百兆,即使压缩也远超了函数计算 50M 代码包大小的限制。对于这类超大体积的文件,函数计算命令行 Fun 工具原生支持了这种大依赖部署(3.2.0 版本以上),按照向导的提示操作即可。

快速开始

1. 克隆 poetry 项目

急速搭建 Serverless AI 应用:为你写诗

2. 安装依赖

由于训练模型的脚本比较费时,所以训练好的模型已经提前存放在 model 目录中。如果您想重新训练模型,执行 make train 即可。

急速搭建 Serverless AI 应用:为你写诗

3. 本地运行函数

执行 fun local invoke 可以在本地运行函数,正确的返回内容如下:

急速搭建 Serverless AI 应用:为你写诗

4. 部署函数

通过 fun deploy 部署函数并上传函数依赖到 nas。

急速搭建 Serverless AI 应用:为你写诗

fun 会自动完成依赖部署,当 fun deploy 检测到打包的依赖超过了平台限制(50M),会进入到配置向导,帮助用户自动化的配置。

急速搭建 Serverless AI 应用:为你写诗

选择 "Y" 之后就不需要做其他事情,等到部署完成即可。

5. 运行远端函数

通过 fun invoke 调用远端函数(也可以通过函数计算控制台调用):

急速搭建 Serverless AI 应用:为你写诗

至此,已经将古诗创作程序成功部署到函数计算了。

更多参考

  1. 21 个项目玩转深度学习——基于 TensorFlow 的实践详解
  2. 开发函数计算的正确姿势 —— Fun 自动化 NAS 配置
  3. 开发函数计算的正确姿势 —— 使用 Fun NAS 管理 NAS 资源

 

本文作者:阿里巴巴云原生小助手

原文链接

本文为阿里云内容,未经允许不得转载。