大模型时代，如何快速开发 AI 应用

本文分享自华为云社区 《【云享问答】第3期：大模型时代，如何快速开发AI应用》，作者：华为云社区精选。

大模型快速普及应用的当下，AI 浪潮汹涌而至，对于开发者来说，开发一款属于自己的 AI 应用并不是遥不可及。华为云 AI 生态技术专家、中科院计算所博士坐阵，从数据处理、算法开发、模型训练到部署，全方位拆解 AI 开发全流程，本期 【云享问答】 通过这 14 个问题，带你上手华为云一站式 AI 开发平台 ModelArts，实现 AI 应用的快速开发。

Q1、AI 开发的基本流程是怎样的？

一个典型的 AI 应用开发包括数据处理、算法开发、模型训练、模型部署等，在 ModelArts 上可以完成以上所有流程。数据处理主要是对上传到云端的数据进行标注和特征分析，算法开发可以使用 ModelArts 官方发布或自己开发的算法，模型训练即使用云上的 CPU/GPU/NPU 等资源创建训练作业，最终的模型部署可部署为在线服务或者边缘服务，可以参考这个👉免费案例 实操一下。

Q2、零基础小白，也可以快速上手 AI 开发吗？

零基础小白，可以使用 ModelArts 进行 AI 开发体验，推荐尝试 ModelArts 自动学习功能, 自动学习不需要 AI 能力和编码能力，只需上传数据，通过图像化界面操作即可完成模型训练和部署，当前支持图像分类、物体检测、预测分析、声音分类和文本分类等任务。 👉指导手册

也可以前往华为云 AI 开发交流社区——👉AI Gallery，里面有很多算法、模型、notebook 等资产（这些资产的运行依赖的就是 ModelArts），也有课程和讨论区。

Q3、华为云 ModelArts 是如何简化 AI 开发过程的？

简单的说，ModelArts 解决了 AI 开发最关键的算力和算法获取问题：1、作为云平台，它提供非常方便的算力资源；2. AI Gallery 作为社区，提供非常多开箱即用的模型。

AI 开发包括多个步骤，每个步骤也有很多细节，ModelArts 提供足够丰富的功能满足不同的需求。另一方面，ModelArts 也提供了工作流能力（Workflow），覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等 AI 开发的多个步骤，使用者可以通过可视化配置运行开发好的工作流。

Q4、与本地开发相比, 在云上进行 AI 应用开发有什么优势？

以华为云一站式 AI 开发平台 ModelArts 为例，它的优势体现在：

1. 数据智能标注、团队标注、特征分析，可以提高数据处理的效率；

2. 自动学习、AI Gallery 的预置算法，无需编写代码开发算法，可以快速进行实验；

3. 推理部署，不用自己去开发 Web 服务、用户鉴权等模块，可以快速将模型部署成在线服务；

4. 丰富的案例资料，在 AI Gallery 上可以学习了解当前热门的 AI 模型、算法等案例。

Q5、如何从本地 IDE 连接 ModelArts，进行 AI 应用开发？

ModelArts 支持通过本地 IDE 远程连接到云上的 Notebook 中，开发基于 Pytorch、Tensorflow 和 MindSpore 引擎的 AI 模型：👉具体操作指导参考

Q6、海量数据处理很繁琐，ModelArts 可以简化这个流程吗？

可以的，ModelArts 提供数据标注功能，即在云上提供图像、文本、音频、视频等数据的标注作业，除了人工标注外，ModelArts 还提供自动标注、团队标注等；另外也提供数据特征分析功能，可以根据数据集中图片特征绘制曲线。

Q7、当前在 ModelArts 上能获得哪些公开的数据集?

数据集公开在 AI Gallery 上，一部分是常见的公开数据集，如 ImageNet、COCO、CitySpaces、Imdb 情感分析等；一部分是华为云以往的 AI 比赛中使用的数据集，如无人车比赛的交通标志识别、疲劳驾驶检测比赛的视频、OCR 比赛的中英文购物小票等；最后就是开发者自发上传的各式数据集。可以去👉AI Gallery逛逛。

Q8、如何将本地训练的模型迁移上云？

我们既可以将模型部署到云上作为 Web 服务👉参考文档，也支持下发到端边侧👉参考文档。

如果自己线下训练的模型，部署到 ModelArts 平台成为一个 API 服务，不需要做模型转换，可以参考如下👉指导手册。

Q9、其他格式的 AI 模型支持导入到 ModelArts 继续训练吗？

1、如果是简单的实验，可以用 ModelArts 的 Notebook，这个环境比较自由，跟你在本地做 AI 开发差不多，比如 Keras 模型导入后用 Keras API 操作就行👉指导手册。

2、如果是正式的训练/推理作业，需要适配 ModelArts 的规范，建议也是先参考 1 在 Notebook 里调通，再创建正式作业，需要注意的点是云上作业存储用的是华为云 OBS（代码/数据需要先传到 OBS），相关的规范可参考👉参考1；👉参考2

Q10、ModelArts 上会有训练好的开放模型吗？提供模型市场或线上调优服务吗？

模型资产发布在 AI Gallery 中，大部分没有公开权重，但是可以在 ModelArts 上部署使用，如往届华为云 AI 大赛的优秀作品；另外值得一提的是，最近火爆的开源大模型也陆续上架到 AI Gallery 中，如 Stable Diffusion、MPT、Falcon 等。

Q11、ModelArts 中如何进行大规模分布式训练？

ModelArts 主要支持数据并行方式的分布式训练，包括单机多卡、多机多卡，与单机单卡相比，借助 PyTorch、MindSpore 等框架能力，仅需修改几行代码即可。可参考以下链接👉了解详情和查看代码示例。

Q12、目前 ModelArts 平台支持哪些 AI 框架？

PyTorch/TensorFlow/MindSpore 都支持，CPU/GPU/Ascend 版本都有。

Q13、ModelArts 是否有像 GPT 那样的通用生成能力呢？

ModelArts 是开发平台，你可以使用 ModelArts 开放自己的大语言模型，AI Gallery 中也有👉ChatGLM这样的案例。

Q14、ModelArts 会有一些支持开发者的活动吗？

近期上线了👉昇腾AI·玩转AIGC实战营活动，后续陆续有更多活动推出，敬请期待。

如果你有更多关于 AI 应用开发的问题，可以前往华为云开发者社区论坛提问，参与每个月的提问活动，有机会赢取精美礼品。

点击关注，第一时间了解华为云新鲜技术~