写点什么

AI 大模型高效开发神器来了 ,解读 ModelArts 8 大能力

  • 2024-11-01
    广东
  • 本文字数:2825 字

    阅读完需:约 9 分钟

AI大模型高效开发神器来了 ,解读ModelArts 8大能力

随着国资委、工信部等持续推动工业企业开展人工智能创新应用,以及 AI 大模型为代表的新一代 AI 技术在快速发展,赋能各行各业,开展 AI 的创新应用对领先的工业企业已经是必答题。,在 IDC《中国工业 AI 综合解决方案 2024 年厂商评估》中,华为在战略、能力、市场份额三个维度取得第一,位于领导者类别,越来越多的工业企业选择华为云 Stack 开展 AI 应用创新。

大模型应用已从“技术出发”走向“场景出发”,深入千行万业解决智能化转型的难题。华为云 Stack 推出了业界首个大模型混合云,从两个方向促进规划大模型在政企的方案落地:一是发布 ModelArts 一站式 AI 开发平台,基于不同的大模型,面向不同的开发者提供一站式数据处理、模型开发和应用开发能力;二是基于行业客户需求,发布 TOP N 场景和最佳实践。并且提供行业场景化地图,提供政企大模型落地的参考架构,致力于为每个企业构建专属大模型。

ModelArts 一站式 AI 开发平台 8 大能力,赋能大模型高效开发

华为云提供面向 IT 开发者的 ModelArts 一站式 AI 开发平台,帮助用户快速高效创建和部署 AI 模型,并管理整个开发生命周期。面向数据工程师、模型工程师、应用工程师等不同类型的开发者,从用户视角提供 8 大能力模块,一站式实现数据处理、模型开发及应用开发,让大模型构建、训练和部署更简单。

1) 数据工程服务:为企业高质量供数

数据平台服务覆盖从数据加工、数据标注、数据评估到数据发布全流程,实现端到端的数据治理能力。支持文本、图片、视频、音频的全模态数据处理;60+算子加持,基于 AI4Data 的预置算子快速实现数据的智能标注和模板化处理,让数据加工智能化。同时支持人工评估和自动评估,质量评估标准化,大幅提升企业数据质量;最后,数据发布环节,通过数据胶囊加密封装数据,确保数据可用不可得,守护数据全生命周期安全。

2) 模型训练服务:全场景、0 代码、高可靠,一站式训练企业专属模型

当前大模型开发已经从通用走向行业,需要平台提供丰富的开发组件和系统管理能力,降低开发技术门槛。在训练场景中,ModelArts 提供增训和微调两种训练模式,适配领域知识从零构建和特定任务优化两大类训练任务;训练方式上,拥抱开放的模型生态,支持盘古及第三方大模型,并创新地兼容 NLP、CV、多模态、预测、科学计算 5 类模型训练,预置 20+场景化训练工作流,0 代码快速创建训练任务;训练任务管理上,具备领先的 SFS Turbo 加速、断点续训能力,保证训练高效率、高可靠。

3)模型推理服务:云边多场景部署,训推共池、PD 分离加速推理效率

推理平台提供高效灵活的推理环境,载着运行客户 AI 应用的重任。面向政企客户复杂的推理场景,ModelArts 支持中心和边缘多形态部署,云边协同,统一部署和管理模型。训推业务存在错峰特点,通过训推共池能力,训练闲置资源可用于模型推理,秒级切换,实现“白天推理,晚上训练”,提升资源利用率。最新支持的 PD 分离方案,让推理任务处理长对话或复杂任务时,减少重复工作,整体推理性能提升 20 倍,成本降低 5 倍

4)模型评测服务:提供完整的评测标准、数据与方案,自动化率达 70%以上

模型训练之后需要对比多个模型的效果,快速找到优化方向。ModelArts AI 平台支持盘古和三方模型评测,提供自动化+人工两种评测方式,系统预置基于规则的 20+评测指标;在平台管理上,AI 平台提供多个评测任务的切分并行管理,提高评测执行效率。

5)资产管理服务:资产、角色、空间三大模块,适配企业级工程化开发

大模型开发正从作坊式走向标准化,ModelArts AI 平台配备资产、角色、空间三大模块,适配企业级开发,满足内部分工管理诉求。其中创新地对于模型/数据/应用不同业务板块进行角色管理、不同工作组跨租户隔离、资源按需流转和分享,保障数据安全。

6)RAG(检索增强生成)工程服务:多模态智慧搜索平台,易用、智能、精准

大型企业的业务人员及员工,经常需要查询制度、流程、规范,使用的典型场景有“网点员工助手”、“智能客服助手”、“12345 智能热线”等。RAG 通过将文档数据转化为向量数据库,然后在询问大模型时,从数据库中检索出相关知识,生成有参考信息的回答,从而提高答案的可信度。

华为云提供的多模态智慧搜索平台实现基于大模型的语义搜索,不仅具备精度高的优点,而且提供端到端完整方案,开箱即用;不依赖第三方,简单的配置即可开启搜索体验;自带 UI 设计,一键文档上传、解析、搜索,快捷完成支撑多模态场景,覆盖企业常见文档类型包括文本、语音、视频和图像等,真正做到易用、智能、精准的使用体验。

7)Agent 工程服务:AI 和业务逻辑的灵活组合,分钟级创建行业应用

当前在大模型 Agent 开发中,业界普遍面临开发门槛高、效率低、Prompt 质量差等问题。华为云全新构筑 0 代码开发流程,支持 Prompt 模板智能生成和填充,让执行效率提升 50%。不仅如此,在知识问答、接口调用、数据分析、代码助手四类场景应用方面,实现可视化、托拉拽的简易操作,并预置 10+编排组件,5 分钟即可完成 1 个原生 AI 应用创建,尽享流畅。

8)基础模块服务:坚实云底座,资源平台服务化,算力高效管理

基于统一的华为云 Stack 混合云底座,支持从通算到智算的平滑演进,直接扩展 AI 算力和大模型,积木式交付。通过 FIFO、配额组、亲和性等调度策略,实现算力资源利用率提升 50%。长稳训练是 AI 平台的关键能力,通过 SFS Turbo 存储加速,千亿级海量文件并发,CKPT 秒级存取,万亿参数训练故障分钟级恢复。通过云与硬件软硬协同,充分发挥昇腾算力的价值,实现高效率、易运维的资源调度,让每张 AI 卡物尽其用。

 

不仅 ModelArts 一站式 AI 开发平台,华为云 Stack 大模型混合云更提供算力平台、云服务、开发套件和专业服务等业界最完整的 AI 生产链。在工业领域,已有多家头部大型企业携手华为,基于大模型混合云开展 AI 应用落地行业的创新,共同探索企业研发、生产、消费等全流程面临的复杂问题。


鄂尔多斯携手华为云 Stack,基于大模型混合云,实现对煤矿生产全流程的自动化监测、预警、处理,为煤矿产业提效增安;并建设新型工业互联网平台,让大模型的技术红利惠及每个矿企。


湖南钢铁与湖南移动、华为深度合作推进人工智能钢铁行业大模型部署。目前,基于盘古大模型的视觉大模型和预测大模型完成了首批模型的开发上线,涵盖钢铁流程中的焦化、烧结、炼铁、炼钢、轧钢、质检等 9 个专业 23 个场景。


山东能源集团携手华为,打造业界首个矿山大模型,当前已在兴隆庄煤矿、济二煤矿、李楼煤业、鑫泰能源等 26 个单位开发和实施首批应用,涵盖 9 大专业 40 多个人工智能应用场景。

 

未来,华为云 Stack 将持续深化领先的技术能力及行业实践经验,在大模型产业培育方面更加注重用户体验、行业定制、开源合作,持续携手更多政企客户及伙伴,基于大模型混合云实现更多行业应用落地,共同推动大模型技术进步和产业可持续发展。


华为开发者空间,汇聚鸿蒙、昇腾、鲲鹏、GaussDB、欧拉等各项根技术的开发资源及工具,致力于为每位开发者提供一台云主机、一套开发工具及云上存储空间,让开发者基于华为根生态创新。点击链接,免费领取您的专属云主机


点击关注,第一时间了解华为云新鲜技术~

用户头像

提供全面深入的云计算技术干货 2020-07-14 加入

生于云,长于云,让开发者成为决定性力量

评论

发布
暂无评论
AI大模型高效开发神器来了 ,解读ModelArts 8大能力_modelarts_华为云开发者联盟_InfoQ写作社区