华为云 FunctionGraph 函数工作流—— “Serverless“遇见”AI，释放 AI 生产力

 5 月 26 日-27 日，由 msup 主办的 2023 年 A2M 峰会在上海南新雅皇冠假日酒店盛大举行。本次 A2M 峰会以“AIGC 时代下的 AI 落地实践、数据智能和基础架构演进”为主题，邀请了 100 余位行业专家从支撑数字化转型的几个关键技术切面入手，甄选前沿有典型代表的 84 个技术创新及研发实践的架构案例，分享他们本年度的总结和实践启示。

峰会第二日，华为云 Serverless 研发工程师朱安东带来了主题为“Serverless“遇见”AI，释放 AI 生产力”的分享，重点介绍了业界领先的基于函数计算的 Serverless AI 推理解决方案，并展示了华为云函数工作流（FunctionGraph）的灵活、速度，如何让开发人员提升工程效率，缩短 TTM 等。

华为云 serverless 研发工程师 朱安东

朱安东表示：“AIGC 正逐渐在千行百业生根发芽，并且快速成为了行业中重要的生产力工具。伴随着 AIGC 大模型以及领域专家类型的中小模型的快速演进，引发了海量 AI 推理、大模型托管以及底层强大算力的诉求。 然而，要想实现 AI 扎根千行百业、实现“AI everywhere”的最终目标，我们仍然有很长的路要走。”

Serverless—— AI everywhere 的下一块拼图

从业内工程师的角度来看，AI 应用迭代发展的核心痛点主要包含 2 个方面：

第一：算法工程师作为 AI 应用的核心开发者通常只会和模型、数据以及代码打交道，主要工作围绕数据清洗、数据工程、特征工程还有模型设计、开发、训练等，偏研究和理论方向。但是一旦涉及到算法模型和 AI 应用的最终落地，推广给大量用户使用就会涉及到模型发布、上线等动作，为了完成这些流程，开发者通常需要去花时间和经历学习托管类知识，尤其是云原生时代下的 docker 还有 k8s 等；

第二：对于参数量很大的模型上线后很难找到足量、优质的算力资源快速获得推理结果，推理性能差。从基础架构工程师的视角来看，GPU 硬件设备成本高，研究阶段的需求量尚且能够满足，但是上线后面对海量用户和请求的资源量过于庞大，需要大量的投入；

另外，业务通常都是有浮动趋势的，就像旅游业的淡季和旺季，为了满足业务峰值准备的资源在业务量低的时候资源利用率也随之降低，资源严重浪费。

综上，AI 应用如果想深入到人们的生活仍有很多问题需要克服。那么如何加速 AI 应用快速落地、敏捷迭代呢？Serverless 是以应用为中心的新型云原生计算形态，这是业界的共识。而“用户无感、按需使用、以应用为中心，无需关注基础设施”这几个特性正好可以解决 AI 应用的几个痛点问题：

第一：以应用为中心：AI 工程师可以专注业务逻辑和模型 performance，节约下大量的时间和精力。

第二：无需关注基础设施：企业和架构工程师无需提前准备海量计算资源、自建机房，只需按需使用，按量计费。

华为云 FunctionGraph 解决 AI 用户上云 4 大问题 

华为云 FunctionGraph 函数工作流是一项基于事件驱动的函数托管计算服务，通过函数工作流，只需编写业务函数代码并设置运行的条件，无需配置和管理服务器等基础设施，函数便可以弹性、免运维、高可靠的方式运行。对于现阶段人们对业务、弹性以及降本增效等诉求提升，华为云 FunctionGraph 无疑是 AI 推理 Serverless 化的优质选项。

在 Serverless 的开发模式下，开发人员和交付流程实际上是有明显界限的。开发人员只需要上传代码包或者一个镜像文件即可让整个业务跑起来，不需要面对繁琐的交付流程。

为了让用户能够在 Serverless 平台上更加丝滑、流畅的开发和运行 AI，华为云 FunctionGraph 推出了针对 AI 场景的解决方案，主要解决 AI 用户上云的四大问题： 

①工程效率

• 模型开发、编排：专注业务代码，NoOps，低码编排

• 支持代码包，容器镜像

②性能、弹性：

• 长时负载，支持异步函数调用，最长函数执行时间 72 小时

• 冷启动问题：池化预热、弹性调度

③运行时、异构计算：

• 支持 GPU/NPU，加速推理性能

• 支持 GPU 共享，提升资源利用率

④模型加载加速：

• 大文件加载：OBS+SFS 结合，解决 ML 模型库 &模型自身大文件加载问题；

• 链路加速：高性能解压缩转换，降网络开销、CPU 解压耗时；共享内存加速技术，降解压 IO 开销；依赖包预加载，降低公共依赖的下载、解压耗时

同时华为云 FunctionGraph 基于函数计算的 Serverless AI 推理解决方案具有 5 大优势：

1.更低的学习成本，更卓越的工程效率，更短的 TTM

华为云 FunctionGraph 可以极大提升开发效率。精通 Python 的算法科学家无需学习如何安装、配置和操作复杂的计算和数据存储基础设施, 通过可视化拖拽式函数流便能编排复杂业务场景。此外，函数还支持容器镜像，简化了 AI 推理 Serverless 化。

2.丰富的函数开发生态。

华为云 FunctionGraph 支持 GPU/NPU 能力，具备 GPU 虚拟化技术，从而提高 GPU 硬件资源的利用率并降低使用成本。

3.更低的资源成本，按需付费，提供工作负载感知智能推荐能力。

函数计算以 1ms 粒度按量计费，函数编排基于节点执行次数计费

4.极致的冷启动、弹性及更智能的调度能力。

资源池化预热、分层预加载与弹性水位控制：通过单实例多并发、分层预热提升性能、降低成本。函数实例百毫秒冷启动时延，毫秒级弹性。

5.多维度结合的大文件加载加速能力。

高性能解压缩转换，降网络开销、CPU 解压耗时。

共享内存加速技术，降解压 IO 开销。

依赖包预加载，降低公共依赖的下载、解压耗时

Serverless 代表现代化架构的演进方向，与微服务将长期并存，在 5-10 年内将成为云的首要交付模式。根据 IDC 今天发布的《全球半年度公有云服务跟踪报告》显示，2020 年全球云计算市场同比增长 24.1%，收入总额达 3120 亿美元。同时 Serverless 对客户端还具有成本优化、效率提升的商业价值。面对 Serverless 的发展大势，华为云将打造全栈全场景的 Serverless 能力，并在音视频、数据处理、物联网、端测应用等场景优先推广落地，围绕这些场景进行打穿，推动相关高阶服务进行 Serverless 化改造。今年，华为云在能力打造上将优先推出函数计算 2.0、Serverless 应用托管 CAE、事件网格服务 EventGrid、ADM 等；同时，也将在 Serverless 开发工具及可观测性上构建端到端的能力，并重点在前端 Trigger、后端 BaaS 上进行丰富，全面打造 Serverless 应用生态。华为云 FunctionGraph 期待与更多的开发者见面。

华为云持续将最先进的技术提供给全球的客户、伙伴和开发者，助力千行百业的客户商业成功。