写点什么

大模型时代的人工智能 + 大数据平台,加速创新涌现

  • 2023-10-31
    浙江
  • 本文字数:1721 字

    阅读完需:约 6 分钟

大模型时代的人工智能+大数据平台,加速创新涌现

大模型和 MaaS 概念的出现,定义了以模型为中心的一整套 AI 开发新范式,而这背后日益增长的巨大算力需求,对 AI 工程底座提出了新的挑战。今天,大模型时代下的人工智能+大数据平台,需要具备计算效率、开发效率、处理效率为一体的高效能力,才能保障服务 AI 时代下的业务创新。10 月 31 日,2023 云栖大会上,阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布阿里云人工智能+大数据平台升级发布,以服务大模型时代下各行各业的业务创新

高性能的 AI 基础设施,让计算效率达到极致

根据 OpenAI 测算,全球用于头部 AI 模型训练的算力需求以每年 10 倍的速度增长,计算需求处于持续爆发中。汪军华介绍,PAI 灵骏智算集群在网络、存储、调度上做了深度优化,采用 HPN 7.0 新一代 AI 集群网络架构,存储计算分离架构,支持高达 10 万卡量级的集群可扩展规模,让超大规模集群像 1 台计算机般运转


软硬一体的智算服务 PAI 灵骏,为大规模深度学习训练场景提供稳定和高效的支撑,大模型训练任务线性加速比可达到 96%,大模型训练资源可节省超 50%。在稳定性保障方面,PAI 灵骏智算服务配置了弹性容错训练框架 AIMaster 和 EasyCkpt 模型自动保存与恢复能力,可让千卡规模任务稳定运行 3 周以上。


面向大模型的推理服务场景,PAI 体系化地整合模型系统联合优化、运行时优化、LLM 领域优化等能力,可将大语言模型推理吞吐提升 3.5 倍,大幅降低推理时延。单卡推理可支持的最大上下文长度达 280K,超长的上下文推理将进一步推动 LLM 涌现。

多形态、更灵活的 AI 开发模式,支撑多样化需求

随着需求的不断涌现,AI 开发者和 AI 开发需求越发细分。人工智能平台 PAI 4.0 发布,全面降低大模型 AI 开发门槛,提供完善的需求支撑,提升开发效率



不论是需要定义模型结构和开发流程的深度学习开发者群体,还是有海量大规模计算任务的群体,亦或是需要高效快速串联起训练推理任务的业务算法群体,都可以通过 PAI 来实现研发,包含各类热门的计算框架、开源模型和开发场景,一站式地完成开发部署。


PAI 灵积为广大开发者提供了通过云上 API 服务,可以用于应用模型开发和开发好的模型调用,允许开发者将大模型能力迅速集成到自己的业务和应用中,在 PAI-灵积平台上,开发者不仅可以找到通义系列大模型(包括通义千问,通义万相等等),也可以找到来自业界最优秀的头部大模型,包括 ChatGLM,百川,Stable Diffusion 等。


汪军华宣布,今天这些模型都通过 PAI 灵积上统一的 API 和 SDK 对广大开发者开放,开发者只需要几行代码,就能迅速把这些不同类别的大模型的能力,集成到自己的应用中去。

高效的数据服务提升大模型效果,大数据和 AI 更深融合

在机器学习开发过程中,80%的研发时间有用于数据准备,数据质量决定着大模型的效果,数据处理分析的重要性更加凸显。大数据作为 AI 基础设施的一部分,阿里云提供了从数据积累、清洗、建模、计算到服务的全套产品化方案,来节省 AI 开发过程中数据准备的时间。


同时,大数据和 AI 进行了更深度的融合。阿里云自研大数据处理平台 MaxCompute 全面升级 DataFrame 能力,发布分布式计算框架 MaxFrame,100%兼容 Pandas 等数据处理接口,一行代码即可将原生 Pandas 自动转为 MaxFrame 分布式计算,打通数据管理、大规模数据分析、处理到 ML 开发全流程,打破大数据及 AI 开发使用边界,大大提高开发效率。



大模型驱动的 AI 时代,AI 场景对数据时效性的要求也越来越高,Flink+Paimon 新一代实时湖仓方案,为用户提供一站式数据入湖、实时加工和探查分析能力,拓展 Flink 在数据湖场景的实时计算能力,同时加速 AI 应用。


全托管向量检索服务 DashVector 正式发布,基于阿里云自研 8 年的高性能向量检索内核 Proxima,提供具备水平拓展能力的云原生、全托管的向量检索服务。Hologres、OpenSearch、Elasticsearch 分别升级了向量能力,满足不同场景下性能的提升。全新发布 DataWorks Copilot,将大数据平台的一站式统一元数据、统一调度、统一数据集成、统一数据建模与 AI 大模型能力全面结合, 将 AI 与业务充分融合,创造新价值。


在面向大模型时代整体大数据 AI 产品能力升级后,汪军华宣布大数据 AI 产品全面完成 Serverless 化,致力于给客户提供开箱即用、按需付费的高性价比产品。作为大模型时代 AI 的基础设施,阿里云人工智能+大数据平台将坚定、持续的投入研发资源,服务各行各业的业务创新。

发布于: 1 小时前阅读数: 5
用户头像

还未添加个人签名 2020-10-15 加入

分享阿里云计算平台的大数据和AI方向的技术创新和趋势、实战案例、经验总结。

评论

发布
暂无评论
大模型时代的人工智能+大数据平台,加速创新涌现_人工智能_阿里云大数据AI技术_InfoQ写作社区