写点什么

全域 Serverless+AI,华为云加速大模型应用开发

  • 2023-10-09
    广东
  • 本文字数:2880 字

    阅读完需:约 9 分钟

全域Serverless+AI,华为云加速大模型应用开发

日前,华为全联接大会 2023 在上海召开。华为云 CTO 张宇昕在大会上发布了基于 Serverless 技术的大模型应用开发框架,框架以面向 AI 领域全新升级的 FunctionGraph 3.0 为核心,将 BaaS for AI 后端和开放平台快速无缝集成,助力企业轻松商用 AI 应用。



在“全域 Serverless + AI 加速应用创新”专题演讲上,华为云首席产品官方国伟、华为 2012 实验室中软分布式与并行软件实验室主任谭焜,分享了 Serverless 和 AI 如何结合的前沿理念和实践,深度解析华为云在 Serverless 领域核心产品及基于元戎架构构建的分布式内核能力,为开发者打造 Serverless AI 极优体验,帮助企业加速应用创新;广联达科技股份有限公司首席业务专家/副总裁祁长福分享了在建筑行业,华为云 Serverless 产品如何基于 FunctionGraph 优化 AI 应用开发,提升开发团队工作效率。

全域 Serverless 为千行万业深度用云带来新体验


方国伟介绍,在 AI 时代背景下,软件开发的方式由以代码为中心,走向以模型为中心,如何将 AI 大模型能力充分利用起来,是当下云厂商积极探索的事情。


华为云首席产品官方国伟


企业研发人员在构建 AIGC 应用时更多关注开发部署门槛能否降低,更快的完成企业需求。运维人员要确保系统能够稳定运行,在业务量高峰时刻做到快速弹性,业务量小时节约成本,企业既能实现业务目标,又能保证系统可靠性高、成本较低。


为了更好的支撑 AIGC 应用,华为云提供了全域 Serverless 能力,推出了 CCE Autopilot、FunctionGraph、CAE 等 Serverless 产品,将一系列的 AI 原生技术构筑成后端服务,形成 BaaS for AI 能力,调用即可得。结合完善的工具链,帮忙企业快速构建应用。



Serverless 容器 CCE Autopilot、CCI 让用户无需关注底层资源,自动运维,帮助用户降低运维成本。


在 Cloud Bursting 场景,去哪儿网基于 CCI 打造了灵活上云新体验,完成业务 0 改造,实现 4000 实例/30s 的极致弹性。

FunctionGraph 3.0 八大关键能力,助力 AIGC 应用创新


全新升级的 FunctionGraph 3.0,新增 Serverless 应用中心、独创 Snapshot 冷启动加速、预留实例智能推荐特性,配合异构资源虚拟化技术,实现 AIGC 应用低成本、低延迟,加上端到端的全链路压测和全栈可观测能力,助力 AIGC 应用快速开发,天级上线。



杭州曼孚科技有限公司是行业领先的 AI 基础架构与数据智能平台服务商,基于 FunctionGraph 构建自动化 AI 训练平台,更细粒度的 GPU 算力供给加上按需全自动资源弹性,实现成本降低 40%。


华为云 Serverless 事件总线服务事件网格 EventGrid 能够支持统一事件中心、事件驱动引擎、开放与集成、降低开发成本四大典型场景,为企业提供中心化的事件集成、治理和驱动能力。


在车联网场景,某 Top 车企使用 EventGrid 构建 Serverless 化的事件驱动架构的同时,实现上下游异步解耦,便于扩展和避免单点故障;作为无码化对接的事件中心,避免云服务间点对点对接,减少 50%开发工作量以及数据高可靠 0 丢失和数据规则调整 0 变更。降低成本。


Serverless 应用托管 CAE 产品升级:支持应用 0 代码修改平迁上云,用户无需修改业务代码;支持 Web/微服务应用 Serverless 化,帮助企业降本增效,提升业务稳定性。


香港新世界旗下广州新合创科技有限公司,使用 CAE 全托管模式提升 50%效率;后续还会根据商场人流峰值设定定时伸缩,节省资源以降低成本。


BaaS for AI:华为云 BaaS 服务 DWS 3.0 提供 Pay By Resource 弹性模式和 Pay By Query 弹性模式,帮助企业实现后端服务 Serverless 化。


“华为云提供全域 Serverless 能力,让开发者 5 倍速开发行业大模型,支撑千行万业的 AI 应用开发。面向 AI 领域全新升级的 FunctionGraph 3.0,真正实现大模型应用即开即关、即时响应,无限扩展。”

Serverless 挺进 AI,强强联合加速 AI 应用创新


华为 2012 实验室中软分布式与并行软件实验室主任谭焜


基于自主创新元戎内核构建的 FunctionGraph 3.0 如何保障 AI 应用开发部署低成本和响应低时延,谭焜做了深入的技术分享:


模型开发部署依赖昂贵的异构资源。传统的异构函数,CPU 和 XPU 资源绑定分配,单一推理函数包含 CPU 和 XPU 操作,操作 CPU 时 XPU 空闲,操作 XPU 时 CPU 空闲,资源利用率低。元戎独创的纯 XPU 异构函数,CPU 和 XPU 资源绑定解耦,用户可把不同类型资源的操作写成不同的函数,执行时分解到不同算力处理器上,无闲置资源。


FunctionGraph 打造 Serverless AI 最佳平台


在大模型推理场景,包括全量推理和增量推理两个阶段。全量推理阶段算力需求远高于增量推理阶段,增量推理阶段,耗时可能远长于全量推理阶段。针对这类场景,元戎可以做到全量推理和增量推理解耦,各自按需弹性扩缩,精确算力供给,真正按使用量计费,降低用户成本。


更快的应用响应速度意味着更好的用户体验。元戎自主创新的 FoldFormer AI 模型可在线持续预测用户业务负载,提前进行实例预热,达到 85%~95%准确率,大大降低了冷启动概率。无法被准确预测的流量,通过一系列优化措施加速冷启动。在用户模型下载阶段,基于内置的内存数据系统和 SSD 构建的分级高速缓存,实现系统内缓存模型文件,大幅缩短下载时间。计算时,模型按 Layer 分批加载,并根据用户 SLA 和模型推理时延历史数据构建最优 pipeline, 降低参数加载和模型推理总时延,冷启动优化到秒级。


谭焜最后总结道:“基于元戎内核,FunctionGraph 3.0 提供异构函数极速冷启动,细粒度异构资源管理和按需弹性扩缩,打造 Serverless AI 极低成本和极致性能;依托华为云丰富的 BaaS 服务和全托管的开发环境,打造 Serverless AI 极优体验。”

AI 赋能建筑行业数字化


广联达科技股份有限公司首席业务专家/副总裁祁长福发表 AI 赋能建筑行业数字化主题演讲。“广联达作为数字建筑平台服务商,立足建筑产业,围绕工程项目的全生命周期,为客户提供数字化解决方案,公司提出“数字建筑”理念,希望通过“数字建筑”系统、全面、深度地助力建筑产业转型升级。”


广联达科技股份有限公司首席业务专家/副总裁祁长福


祁长福介绍,在技术方面,广联达通过大力研发 BIM 和云计算、大数据、物联网、移动互联网、人工智能等信息技术引领产业转型升级。


在 AI 领域,广联达围绕行业难点,围绕设计、成本、施工等重点领域,打造核心 AI 应用。应用设计采用 Serverless 理念,依托华为云 Serverless 服务构建解决方案,将 AI 模型以镜像方式部署在 FunctionGraph,对外提供通用 API,无需管理运维异构资源(GPU 等),模型实例随业务量全自动扩缩容,无请求时实例缩容到 0,低成本高可用运行。上层应用采用 FaaS+ BaaS 的 Serverless 应用架构,集成模型推理接口,只需专注于业务逻辑代码,可函数级粒度并行开发,快速迭代应用。


华为云 FunctionGraph 技术极大的优化了 AI 应用的开发过程,让 AI 团队可以更关注业务实现,而无需关注底层技术细节。


“广联达以推动建筑行业数字化为己任,着力打造‘数字+连接+算法’的系统性数字化。围绕行业痛点,我们以智能化技术为基础,依托华为云 FunctionGraph Severless 架构,打造建筑从业人员的 CoPilot,帮助行业人员提升作业效率,提高管理水平和决策质量。”


未来,华为云将持续落地全域 Serverless 产品,与华为 2012 实验室深度合作,以 FunctionGraph3.0 为核心,打造 Serverless AI 极低成本和极致性能,充分满足大模型应用的敏捷要求,助力千行万业深度用云。


点击关注,第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 5
用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
全域Serverless+AI,华为云加速大模型应用开发_人工智能_华为云开发者联盟_InfoQ写作社区