探索高质量大模型推理平台建设路径——大模型推理标准第二次研讨会即将召开

可信AI评测

 2024 年 08 月 07 日 15:41 北京

随着大模型技术的飞速发展，其应用范围已经广泛渗透到企业的研发应用、生产制造、经营管理的各个层面。由于大模型本身参数量巨大、落地场景和形式复杂多样，对模型的部署、推理、服务环节均提出了更高的要求。如何进行高效模型压缩、实现分布式部署推理、针对大模型自回归特点进行优化，确保在降低时延的同时保障模型响应速度；如何优化请求调度策略、实现资源弹性扩缩容，提升吞吐能力和稳定性，以应对动态变化的流量以及高并发场景；如何有效控制资源和适配成本，实现经济效益最大化等，都是大模型落地过程中尤为突出的新挑战。

目前，业界缺乏统一的标准来规范大模型部署和推理的技术要求。为帮助企业提升大模型推理效果，降低大模型推理的成本，推动大模型在各行业的广泛应用，人工智能产业发展联盟 AI Infra 工作组启动了《面向大模型部署和推理的人工智能基础设施技术要求》的标准研制工作，本标准围绕大模型平台推理过程的功能、性能要求，结合推理效率、稳定性和易用性等产业需求规范标准。

目前已召开完成首轮标准研讨会，50 余家企业的 76 名专家代表参会，就大模型推理平台的标准框架进行了充分研讨，并已收到首轮三十余家企业的文稿和交流反馈。

为进一步完善标准内容，确保大模型部署推理标准的广泛适用性和可操作性，现计划召开“《面向大模型部署和推理的人工智能基础设施技术要求》第二次标准研讨会”，就标准“模型部署”章节的技术能力要求进行交流，诚邀各相关单位参会。

会议信息

会议时间：2024 年 8 月 13 日（周二）14:00-16:00

会议链接：

https://meeting.tencent.com/dm/JHCwP4OSfoQx

会议号：451-889-312

（可扫码报名）

联系人

联系人：宇老师

联系电话：15650761587

联系邮箱：yuwenmengke@caict.ac.cn

联系人：董老师

联系电话：15910462421

联系邮箱：donghao@caict.ac.cn

- END -

AI 工程化推进委员会

2017 年 10 月初，工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室（以下简称“部重点实验室”）。中国信通院为进一步推动我国人工智能的工程化进程，依托部重点实验室成立了 AI 工程化推进委员会。委员会聚焦人工智能开发工具和平台，AI 研发运营和管理，大模型应用，知识计算应用和 AI 数据集治理等技术方向，以产业活动、研究报告、标准和评估、最佳实践等手段，推动人工智能工程化相关的工具、系统、流程和治理体系的完善。企业单位申请链接：

https://mp.weixin.qq.com/s/nZ_ZkBtk18lRyHuCkGEqCg