开箱即用，AISBench 测试展示英特尔至强处理器的卓越推理性能

近期，第五代英特尔^®至强^®可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。英特尔成为首批通过 AISBench 大语言模型（LLM）推理性能测试的企业。

中国电子技术标准化研究院赛西实验室依据国家标准《人工智能服务器系统性能测试规范》（征求意见稿）相关要求，使用 AISBench 2.0 测试工具，完成了第五代英特尔至强可扩展处理器的 AI 大模型推理性能和精度测试。测试中，第五代英特尔至强在 ChatGLM V2-6B（60 亿参数）以及 Llama2-13B（130 亿参数）两个模型上均展现出卓越推理性能，能够满足轻量级大语言模型的实时推理要求。

测试结果：此次单机性能测试中，在满足人类正常阅读速度要求（生成延迟小于 100 毫秒）的情况下，在封闭测试场景中构造数据集，基于第五代英特尔至强的服务器可实现：

•在 60 亿参数的 ChatGLM V2 模型通用推理中，当输入输出序列为 256 时可达每秒 2493 token 的性能，当输入输出序列为 2048 时可达每秒 926 token。

•在 130 亿参数的 Llama2 模型通用推理中，当输入输出为 256 时可达每秒 513 token，当输入输出序列为 2048 时可达每秒 132 token¹。

作为通用处理器，第五代英特尔至强在人工智能、网络、存储、数据库等关键工作负载均能提供出色性能。AISBench 2.0 的测试结果验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能，使得客户可以使用基于至强的服务器，构建一个通用 AI 系统进行数据预处理、模型推理和部署，从而获得兼具 AI 性能、效率、准确性和可扩展性的组合。这也彰显了英特尔至强可以为企业提供“开箱即用”的功能，即可以在通用系统上部署一部分 AI 工作负载，从而为客户带来更佳的总体拥有成本（TCO）优势。

软硬结合，至强展现 AI 优势

英特尔至强的内置 AI 加速器使其成为在通用处理器上运行部分 AI 工作负载的理想解决方案，不仅如此，英特尔还配备了经过优化的、易于编程的开放软件，可降低客户和生态伙伴在数据中心部署从云到智能边缘各种基于 AI 的解决方案的门槛。

•第五代英特尔至强可扩展处理器充分发挥了系统级优势（包括缓存、内存等），因此推理速度实现了大幅提升。

•其内置的 AI 加速器——英特尔^®高级矩阵扩展（AMX），通过提供专用的矩阵运算加速模块（TMUL），以及支持 INT8 和 BF16 这类低精度数据类型，可实现对计算资源的充分利用，从而大幅提升运算效率。

• xFasterTransformer（简称 xFT）是英特尔提供的在 CPU 平台上部署大语言模型的深度优化开放解决方案，通过 C++和 Python 两种 API 接口，更易于用户使用和将其集成到自有业务框架中。

关于 AISBench

AISBench基准是一套应用于人工智能计算产品的性能测试基准，由中国电子技术标准化研究院牵头研制。与 MLPerf 等国际先进计算基准类似，该基准用于测试多种人工智能计算产品形态，并支持丰富的测试场景、模式、类型和指标。

产品与性能信息

1．服务器：在搭载第五代英特尔^®至强^®处理器的 Quanta Cloud Technology 服务器 QuantaGrid D54Q-2U 上测量，CPU：英特尔至强铂金 8592+、64 核，超线程开启、睿频开启、NUMA 4，内存：1.5 TB、硬盘：Intel P5800X 3.2TB NVME ,、操作系统：Ubuntu 22.04、测试软件：AISBench、深度学习框架：PyTorch 2.3.1、模型数据精度：BF16。英特尔于 2024 年 6 月 26 日至 7 月 26 日进行测试。

客户端：第十一代英特尔^®酷睿™ i7-1185G7：在戴尔 Latitude 7420 上测量，内存：16.0 GB、硬盘：256 GB、操作系统：Microsoft Windows 11Enterprise、测试软件：MobaXtermPersonalEdition v22.0 Build 4858。英特尔于 2024 年 6 月 26 日至 7 月 26 日进行测试。

测试工具：性能测试工具 AISBench 2.0。

免责声明

性能因使用情况、配置和其他因素而异。欲了解更多信息，请访问性能指数网站。性能结果基于截至所示日期的测试，可能无法反映所有公开可用的更新。请参阅备份以了解配置详情。没有任何产品或组件是绝对安全的。您的成本和结果可能会有所不同。英特尔技术可能需要启用硬件、软件或激活服务。