可信 AI 评测 | 人工智能训练芯片标准解读

随着人工智能领域的持续发展，尤其是大模型技术的出现和广泛应用给计算资源的需求带来了巨大的增长，催生了人工智能训练芯片的快速发展。目前，国内 AI 芯片正处于发展期，多生态、多架构百花齐放，在主要能力层面已达成一定的产业共识，但在功能性、兼容性、传统人工智能任务性能、大模型任务性能和稳定性等方面仍有待改善和规范。

为引导产业有序发展、规范行业自律，并为用户提供选型参考，中国信息通信研究院（以下简称“中国信通院”）牵头，二十余家相关行业重点企业参与，联合编制了《面向训练任务的人工智能芯片通用技术要求》标准，该标准团标已完成，也同步在中国通信标准化协会（CCSA）进行了立项。该标准针对面向训练任务的人工智能芯片的各项能力给出了规范性约束和参考性建议，中国信通院依据标准指标要求推出了“人工智能训练芯片专项评估”服务，即日起正式开始启动首轮评估。

一、面向对象

本标准为人工智能行业中训练芯片的提供方和需求方提供了成熟、有序的人工智能训练芯片能力参考框架。为芯片提供方提供人工智能训练芯片能力的评价和指导标准，帮助提升产品研发；为芯片需求方提供有效衡量芯片能力水平的标准依据，帮助企业提供选型参考。

二、人工智能训练芯片专项评估内容

人工智能训练芯片专项评估主要包含五个能力域，分别为“功能要求”、“兼容性要求”、“传统人工智能任务要求”、“大模型任务要求”、“稳定性要求”，各能力域涉及以下核心条目。

1.功能要求

功能要求，评估 AI 训练芯片的基础能力。硬件要求包括计算精度、混合精度、分布式训练、通信能力、硬件加速能力、视频编解码能力等；软件要求包括集合通信算法、算子支持能力、自定义算子开发、虚拟化能力、管理能力、功耗监控、软件加速库等。功能要求中涉及 OPS、通信带宽、吞吐量、功耗、加速比等多个性能参数。

2.兼容性

兼容性要求，评估 AI 训练芯片的软硬件兼容能力。硬件兼容能力包括 CPU 架构、存储技术等；软件兼容能力包括操作系统、深度学习框架、分布式训练框架和生态迁移能力等。

3.传统人工智能任务要求

传统人工智能任务要求，评估 AI 训练芯片的场景支持能力以及在传统人工智能任务上的性能表现。重点考察对计算机视觉任务、自然语言处理任务、语音类任务和推荐类任务的支持能力。性能参数涉及执行任务的训练时间、训练能耗以及模型 FLOPs 利用率（MFU）等。

4.大模型任务要求

大模型任务要求，评估 AI 训练芯片对于大模型训练的支持能力以及在大模型训练任务上的性能表现。重点考察其对语言大模型、视觉大模型、语音大模型和多模态大模型的支持能力，同时关注其是否支持并行策略以及集群化模型训练。性能参数涉及综合加速比、训练时间、训练能耗、模型 FLOPs 利用率（MFU）、断卡次数等。

5.稳定性要求

稳定性要求，评估人工智能训练芯片的计算稳定性。重点关注其压力测试下的稳定性、异常监测与管理机制、ECC 数据校验、高温低温稳定性、通信稳定性和可维护性等特点。

三、人工智能训练芯片参评价值

人工智能训练芯片专项评估，面向适用于人工智能训练任务的芯片开展。专项评估基于标准指标要求，对人工智能训练芯片进行系统化测试，企业参评的核心价值主要体现在三方面，一是提升业务信任度，通过第三方评估验证人工智能训练芯片的技术产品能力，提供行业认可的背书，帮助业务推广；二是技术对标及提升，通过全面的检验检测，以行业最佳实践作为对标，帮助参评企业完善产品能力；三是增进行业交流，以标准和评估工作搭建交流平台，推动技术亮点分享、实践心得交流，促进技术供给方和应用方之间的交流。

四、评测流程

1、需求沟通：沟通评估需求，明确参评意向；

2、商务确认：对接评估服务，确认项目周期；

3、自评答疑：准备自评材料，组织测前答疑；

4、正式评估：开展材料审查，进行技术测试；

5、专家评审：组织参与评审，答辩专家提问；

6、结果发布：核验证书报告，公开大会发布。

专项评估工作即日起正式启动，评估工作将持续开展，评估结果将分批发布，详情请咨询业务联系人。

五、业务联系人

靳老师

15910806929（微信同号）

jinzhen@caict.ac.cn

- END -

AI 工程化推进委员会

2017 年 10 月初，工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室（以下简称“部重点实验室”）。中国信通院为进一步推动我国人工智能的工程化进程，依托部重点实验室成立了 AI 工程化推进委员会。委员会聚焦人工智能开发工具和平台，AI 研发运营和管理，大模型应用，知识计算应用和 AI 数据集治理等技术方向，以产业活动、研究报告、标准和评估、最佳实践等手段，推动人工智能工程化相关的工具、系统、流程和治理体系的完善。企业单位申请链接：

https://mp.weixin.qq.com/s/nZ_ZkBtk18lRyHuCkGEqCg