AI Infra 组年度总结及 2024 重点方向预告

大模型技术正在引领新一轮的人工智能浪潮，人工智能基础设施(AI Infra)作为此轮变革的重要基石，已成为技术和产业发展的关键战略要素。AI Infra 工作组（以下简称“工作组”）围绕 AI 软硬件基础设施领域，开展了多项标准研究和产业生态工作。2024 年，工作组将聚焦大模型基础设施领域，体系化开展技术研究。

2023 年工作回顾

1.标准研究

软件设施方面，为推动提升 AI 开发落地全流程的功能、性能、稳定性，工作组面向通用软件平台、细分技术平台、应用软件平台立项了 1 项国际标准，发布了 1 项行业标准、6 项团体标准。

硬件设施方面，为构建稳定、高效、易用的 AI 底层硬件支撑，工作组面向 AI 算力、一体机、芯片领域，发布了 1 项团体标准和《运营商 AI 先进存力白皮书》。

2.产业生态

2023 年中国信通院在 AIIA 发起成立了 AI Infra 工作组，截止 1 月底已经吸纳工作组成员 110 家。为探索大模型时代下 AI 基础设施的最佳建设思路和实践路径，工作组组织召开“AI Infra 大模型主题沙龙”、“AI 算力发展分论坛”等多次会议，聚集百余位企业专家进行了深入研讨。

为推动我国人工智能技术应用及产业发展，甄选具有高价值、标杆性的行业典型应用实践，工作组在 2023 AIIA 案例征集中设置 AI 基础平台赛道，共提交 30 余个案例，5 个案例被评为“十大先锋案例”和“十大潜力案例”。

2024 年工作计划

未来，工作组将针对大模型基础设施大而不强，综合性能低，软件工具链不完备等问题，推动产业进一步提升人工智能基础设施的综合能力，帮助产业界构建标杆，促进甲方提升基础设施水平。

1.标准研究

工作组已经形成了高质量的大模型 Infra 标准体系，涵盖硬件设施层、软件设施层、边缘设施层，节后我们将陆续启动以下几方面工作：

第一，硬件设施方向，聚焦训练环节大规模算力，高带宽网络，高性能存储等需求，解决异构算力构建和调度，高速无损网络传输，稳定可靠存储等问题；聚焦推理环节低时延，高准确等需求，解决多系统间的耦合、外挂知识库的连接等问题。

第二，软件平台方向，聚焦训练稳定性、易用性等问题，更好衔接底层算力与上层应用，实现高效、低成本、低门槛的模型训练；聚焦推理环节易用性、自动化、低成本、高实时等需求，解决模型量化高效性、分布式推理稳定性、资源调度自动化、推理任务易用性、服务交互完备性等问题。

第三，边缘 AI 设施方向，聚焦边缘端设备形态丰富导致算力算法适配性差、云边协同训练复杂等问题，工作组将面向边缘 AI 场景下硬件设备、软件平台能力及云边协同技术等方向，形成边缘 AI 硬件、边缘 AI 软件及边缘 AI 技术相关的系列标准。

2.产业生态

工作组计划围绕 AI 算力、AI 平台、边缘 AI 领域，开展系列技术论坛、主题沙龙和案例征集活动，促进供需对接和应用落地。欢迎各界积极参与，共同促进大模型基础设施领域高质量发展。

联系人

刘老师，18610124860（微信同号）

liuxingchen@caict.ac.cn

- END -

AI 工程化推进委员会

2017 年 10 月初，工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室（以下简称“部重点实验室”）。中国信通院为进一步推动我国人工智能的工程化进程，依托部重点实验室成立了 AI 工程化推进委员会。委员会聚焦人工智能开发工具和平台，AI 研发运营和管理，大模型应用，知识计算应用和 AI 数据集治理等技术方向，以产业活动、研究报告、标准和评估、最佳实践等手段，推动人工智能工程化相关的工具、系统、流程和治理体系的完善。企业单位申请链接：

https://mp.weixin.qq.com/s/nZ_ZkBtk18lRyHuCkGEqCg