单存储节点支持 700+ GPU 训练！华瑞指数云首秀登顶 MLPerf 全球存力榜

北京时间 8 月 4 日 23 时，全球最具权威的 AI 性能基准评测组织 MLCommons®正式发布了最新一轮 MLPerf™Storage v2.0 存储性能基准测试的结果。华瑞指数云 ExponTech 作为 AI-Native 企业级全场景数据基础设施的领导者，与 DDN, IBM, HPE, 华为，Hammerspace 等众多国际国内领先的厂商同台竞技，凭借创新技术方案和产品参与测试，取得极为出色的成绩，多项指标位居世界第一。

本次测试中，ExponTech 与合作伙伴英伟达，Scaleflux, AIC 深度合作，采用了软件，硬件均有显著创新的产品方案，目标是验证在 AI 场景下，采用新一代分布式存储软件栈驱动更加精简，高效的硬件方案，达到更高的性能密度，容量密度和更低的成本，同时在网络方面采用 RoCE 网络，验证其大规模组网能力以及整体存储方案的大规模扩展能力和并行访问能力。

硬件方面：

与其他参测者采用的许多台高配置的存储服务器+IB 网络的整体方案不同，ExponTech 方案的存储节点仅使用一台 2U 的 AIC 盘框(JBOF F2026)，盘框本身没有配置 CPU 和内存，没有处理能力，主要提供很高的容量密度和硬件可靠性，2U 空间可以最多配置 26 块 SSD 盘，本次测试配置 24 块 Scaleflux CSD 5000 带压缩功能的 SSD 盘。

盘框内插入 4 张英伟达 Bluefield-3 DPU 卡，每个 DPU 提供 200Gbps*2 RoCE 网络带宽。ExponTech WADP 分布式存储软件完全运行于 DPU 内，提供高性能，高可靠，功能丰富的分布式存储层。

网络方面，采用 4 台英伟达 Spectrum-X 交换机组成一个 2 层的 RoCE 网络, 验证大规模组网时的拥塞控制能力。基于这个 2 层 RoCE 网络以及 ExponTech WADP 分布式存储软件，可以扩展到连接 1024 台盘框，形成一个 EB 级容量，上百 TB 级存储带宽的超大规模高性能存储池。

软件方面：

ExponTech WADP (WiDE AI Data Platform) 分布式存储软件，该软件基于完全自主研发的下一代分布式存储引擎 WiDE 以及下一代分布式元数据引擎天枢构建，在相同的存储池空间内，向上提供丰富的协议接口，包括块存储(NVMe-oF, vhost, iSCSi, CSI-NVMe-oF)，文件存储（POSIX, NFS, SMB）, 对象存储（S3），KV 接口等。本次测试的 WADP 软件，以分布式架构的方式完全运行于 4 张 Bluefield-3 DPU 内，每张 DPU 仅配置了一块 16 核的 CPU 以及 48GB 内存，显示了 WADP 软件栈极其高效的硬件利用效率和 IO 处理能力。

部署架构图：

测试结果：

1、基于 1 个 2U 的存储节点以及 1 个客户端和 2 个客户端的测试结果显示，可以轻松满足模型 ResNet-50 的训练需求，单客户端能够支持的 GPU 卡的数量最高达到 240 块，带宽 23.6GiB/s，在存储节点硬件采用 DPU+JBOF, CPU 和内存都不是很强（AI 控成本）的前提下，依然领先参与测试的所有厂商方案，位居世界第一。具体的测试结果数据如下：

通过上述测试数据测算，ExponTech WADP 使用一个 2U 的存储节点，在配置 4 个客户端的场景下，可以支持超过 700 块 A100 GPU 训练卡和约 400 块 H100 GPU 训练卡的训练需求，稳定提供 70+GiB/s 的带宽，逼近存储节点网络带宽极限。ExponTech WADP 也可以支持扩展到更多的 2U 存储节点，形成大规模高性能存储集群，支持超大规模的 AI 训练场景。

2、MLPerf™ Storage v2.0 测试新推出的检查点(Checkpoint)工作负载专门针对分布式扩展系统中大型语言模型(LLM)的训练场景，重点优化训练过程的备份与恢复速度。ExponTech WADP 方案在 Llama3-8B 模型的实际测试数据位于全球领先水平。

ExponTech WADP 方案的实测写带宽 16.9GiB/s, 略低于 JINIST(采用 Huawei OceanStor A800 方案)的 19.4GiB/s 以及 ANL(采用开源 DAOS 方案)的 18.1GiB/s, 位居世界第三。但是值得注意的是，ExponTech WADP 方案采用的存储硬件配置远低于前两者，使用的物理盘容量仅为前两者的 1/5, 展现了极为优异的存储软件栈效率。如果以 Checkpoint 写入带宽/容量来计算写入效率，ExponTech WADP 排名将遥遥领先居第一。

亮点总结：

超高密度与能效，仅使用单台 2U JBOF 设备搭载 DPU 作为存储节点，硬件配置规格远低于其他的测试方案，展示出了超高的容量密度，性能密度和能效。

超高性能表现，在硬件规格非常低的前提下，依然展示了超高性能表现，在 Resnet50 模型训练测试中，单客户端支持的 GPU 卡数和带宽排世界第一，Llama3 模型的 Checkpoint 写入带宽排世界第三，但使用了最少的 SSD 盘数，以 Checkpoint 写入带宽/容量来计算写入效率，ExponTech WADP 方案排名将遥遥领先居第一，展示了 WADP 存储软件极为高效的硬件利用效率。

极致 I/O 效率，多轮测试均稳定保持 96%以上的 GPU 平均利用率（AU）。

弹性扩展能力，WADP 分布式软件架构可并行扩展到 1024 个节点，实现存储容量，IOPS 和带宽的同步并行扩展，同时保持稳定的微秒级时延。

可扩展网络验证，四台 NVIDIA Spectrum-X 交换机搭建两层 RoCE 网络，拥塞控制表现优异。结合 ExponTech WADP 分布式存储软件，方案可横向扩展至超大规模 AI 训练/推理场景。

存储效率倍增，ScaleFlux CSD5000 SSD 提供透明数据压缩/解压缩，在零性能损耗、无额外资源消耗前提下实现存储容量与效率倍增。

首次参与即在 MLPerf™ Storage v2.0 AI Storage 基准测试中取得优异成绩，这一成就不仅彰显了华瑞指数云 ExponTech 存储技术的强劲实力，更标志着华瑞指数云 ExponTech 在业界又达成了一个关键里程碑。此次测试延续了 WADP（以其子产品 WDS 名义）在 2023 年创下的 SPC-1 基准测试世界纪录，印证了其在企业关键业务（SPC-1：全球存储性能委员会）与 AI 工作负载（MLPerf Storage）领域的双重竞争力，是目前全球唯一的一个能够在 SPC-1 和 MLPerf Storage 上都能够测试出顶级成绩的分布式存储软件，成为真正覆盖全场景的企业级 AI 统一平台。在未来企业把 AI 工作负载与企业关键业务进行结合，实现 AI 能力在企业业务流程中全面落地的过程中，ExponTech WADP 平台将发挥出更加全面的价值。

未来，华瑞指数云 ExponTech 将在 AI 大模型领域持续深耕，不断突破性能极限，打造全球领先的 AI 数据平台，为企业赋能新质生产力。在统一的数据平台产品上同时承载企业的核心生产系统和 AI 数据管道，帮助企业把核心生产数据与 AI 能力相结合，实现 AI 在企业级场景的快捷落地。近期，华瑞指数云 ExponTech 将正式发布 ExponTech WADP 的最新版本，一款融合支持企业级生产业务和 AI 训练推理业务，面向企业级 AI 的统一数据平台底座产品，欢迎持续关注。

关于 MLPerf™

MLPerf™是影响力最广的国际 AI 性能基准评测，由图灵奖得主大卫•帕特森（David Patterson）联合谷歌、斯坦福大学、哈佛大学等顶尖学术机构共同发起成立，并于 2023 年推出 MLPerf™ Storage 基准性能测试，旨在公平公正且公开透明的统一基准来衡量 AI 工作负载的存储系统性能。目前，MLPerf™ Storage 基准测试的最新版本为 v2.0，包含 2 类工作负载的测试：训练（Training）和检查点（Checkpointing），支持两种模拟加速器（A100 和 H100），并涵盖五种典型的模型训练负载：3D-UNet，ResNet-50，CosmoFlow 和 Llama3。这些负载覆盖了顺序读取、随机读取、小文件读取等多种 I/O 场景，能够全面评估存储系统在不同场景下的吞吐量和延迟性能。

关于 SPC-1

SPC-1（全球存储性能委员会）是企业级存储领域最权威的 Benchmark 评测，是一个专注于存储行业供应商性能评测的中立机构。旨在评估存储系统处理复杂请求和大规模数据的能力，对 IO 吞吐量、读写响应时间敏感度、工作负载动态变化、存储容量利用率、用户多样化、数据持久性等多种数据特征进行严苛考量。