从新一代昇腾 AI 云服务，俯瞰 AI 算力的云上变局

2025-06-23
天津
本文字数：5371 字
阅读完需：约 18 分钟

在今天，一个中国 AI 大模型想要完成从训练到推理的过程，需要在算力之路上走过九九八十一难。

首先，它会面临英伟达算力卡被禁售、被降级的持续尴尬，算力获取极其昂贵且困难；接下来，它将面临模型参数过大，单卡算力无法支持，需要集群式算力的难题；再进一步，大规模 AI 计算集群故障频繁，恢复缓慢，极大拖延了训练效率；在推理环节，大模型还需要提升分布式推理能力，提升应用竞争力。

大模型们就像一枚枚棋子。它们在算法层面勇往直前，脚下却没有属于自己的算力棋盘。即使如此，这片土地依旧涌现出了耀眼夺目的大模型创新。但我们也不禁会想，如果拥有坚实有力，且没有外部风险的 AI 算力底座，AI 技术的可能性又将被如何书写？

在 HDC 2025，我看到了解答这个问题的方法。华为常务董事、华为云计算 CEO 张平安宣布基于 CloudMatrix384 超节点的新一代昇腾 AI 云服务全面上线，为大模型应用提供澎湃算力。

基于 CloudMatrix384 超节点的新一代昇腾 AI 云服务，本质上是对固化的 AI 算力形态进行了改变。它改变了以单卡为中心的 AI 算力供应模式，直击了中国 AI 算力自主化的需求，并找到了云服务这种最契合大模型推训的算力获取方式。

384 个 AI 计算单元，连成了一片“龙鳞”，透过它的反光，看到的是中国 AI 算力用技术改变规则的能力和决心。

让我们沿着新一代昇腾 AI 云服务从发现困局，再到技术破局，进而到云服务闭环与赋能行业应用落地的逻辑，去看看 AI 算力的八十一难，如何变得荡然无存。

从深度学习技术兴起，AI 算力作为一种专项需求被提出，产学各界预言了中国的 AI 算力需求必然会呈现出巨大矛盾。这种矛盾在大模型时代得到了史无前例的爆发。

一边是中国 AI 产业在算法、应用侧的创新层出不穷，AI 在社会经济中扮演的地位愈发重要；另一边是我们始终没有筑起自己的 AI 算力底座，算力获取严重依赖外部供应。这种供应形态发展到一定程度，就必然会形成体系软肋与发展局限。就像把自己的 AI 棋子，放在别人的算力棋盘上，当其他人想要掀翻棋盘的时候，我们可能没有任何办法，当我们有了更多棋子，原有的棋盘可能也摆不下。

从过去、现在、未来的三重要素看，中国 AI 算力都必须走出一条自己的新路来。

1.来自过去的困局：AI 算力的外部限制。

自 1996 年《瓦森纳协定》签订以来，美国长期主导了对中国的芯片出口限制。AI 时代到来后，AI 算力成为科技铁幕的核心焦点。近几年，美国持续加码对中国的 AI 算力限制，曾经占据中国 AI 算力市场份额超过 95%的英伟达 GPU，不断在被禁与推出阉割版的徘徊中游荡。这让难获取与昂贵，成了 AI 算力的代名词。

2.来自今天的挑战：大模型崛起带来的算力需求。

把目光放到中国市场本身，会发现算力矛盾依旧突出。伴随着 DeepSeek 为代表的国产大模型崛起，以及 AI Agent 等应用爆发。中国大模型需要更加强大的训练推理能力作为支撑已成定局。

比如说，AI Agent 的技术逻辑是大模型决策再调用外部工具进行处理，这个国产时延考验。想要让 AI Agent 真正走向大规模应用，就需要 CPU 与 NPU 之间强大的高速通信能力。这些算力的实现，直接决定着 AI 应用的发展。

3.来自未来的焦虑：为 AGI 未雨绸缪。

更为关键的是，AI 大模型还在快速发展。未来我们可能会迎来训练参数量达到百万亿的大模型，这将导致 AI 算力需求也被百万倍提升。与此同时，自动驾驶、元宇宙等方向的不断创新，让复杂的多元融合计算逐渐成为主流。我们必须让算力底座预先发展，才能支撑起关于未来近乎无尽的 AI 想象力。

想要解决这些困境，我们会发现一个核心点在于，依赖外部供应的 AI 算力单卡绝不可取。必须将算力资源进行集群化、系统化的整合建设，用整体优势消弭个体劣势，才是中国 AI 算力的取胜之道。

当然，想要实现这个目标技术难度是超乎想象的，好在我们也进行了充分的准备。比如华为在网络方面的数十年积累，可以打破大规模集群式计算的通信瓶颈；昇腾的持续建设，为自主化 AI 算力提供了支撑；华为云在大规模算力服务提供与下一代云基础设施平台的积累，为打造超节点提供了能力底座。

这些要素融合在一起，让华为有机会打破传统的冯诺依曼架构，实现“一切可池化”“一切皆对等”“一切可组合”的 CloudMatrix384 超节点，进而将其通过云服务落地千行万业。

AI 算力的多重困局，由此找到了从底层改写规则的可能。

想要破局单卡为中心的 AI 算力困局，就需要向多卡集群方向努力。

用集约式计算提升算力资源利用率，搭建更符合大规模计算需求的超节点。这些思路在业界一直存在，但 CloudMatrix384 超节点的不同之处在于，其通过计算、存储、网络等诸多技术的协同创新，加上对传统计算架构的彻底颠覆，实现了“最强 AI 服务器”的打造。

CoudMatrix384 是将 384 个昇腾 NPU 和 192 个鲲鹏 CPU，通过高速网络互联总线连接起来，组成了一台 384 卡的 AI 计算机。中国文化讲求“合”的力量，这种文化基因在 CloudMatrix384 有着充分的展现。借用集约式计算的形式，CloudMatrix384 超越了硬件与芯片工艺的限制，同时通过软硬协同、池化架构和动态算力调配，实现了有效算力的大幅提升。根据相关数据，CloudMatrix384 能够实现 300PFlops 的算力规模，相比英伟达 NVL72 提升 67%。它的出现能够从底层技术上解决一系列迫在眉睫的算力技术难题，比如说：

1.分布式推理需求如何满足？

在 DeepSeek 爆火之后，MoE 模型混合专家大模型成为主流。而混合专家模型的一大特点就是十分考验计算集群的分布式推理能力。CloudMatrix384 可以通过超节点的分布式推理引擎，大幅提升单卡的计算与通信效率。单卡吞吐量能够较非超节点提升近 4 倍，跃升至 2300Tokens/s，并支持“一卡一算力任务”，将算力有效使用率（MFU）提升 50%以上，并且超节点可以实现 MoE 模型的“一卡一专家”，一个超节点可以支持 384 个专家并行推理，极大提升效率。

2.集群规模如何突破？

伴随着大模型的发展，业界对 AI 算力的需求正在不断扩大，开始呈现出万卡集群向五万卡、十万卡的趋势发展。满足对 AI 算力规模的需求，是超节点的当务之急。

为此 CloudMatrix384 通过 MatrixLink 全对等互联，构建了高速智能网，再加上集群智能调度能力，保障了计算机群的性能无损，实现万卡集群线性度高于 95%。在此基础上，CloudMatrix384 最高可以将 432 个超节点进行级联，形成 16 万卡的 AI 计算集群，提供 10 万 PFlops 级别的算力，从而满足万亿级别的模型训练。由此一来，CloudMatrix384 成功大幅打破了最大规模计算集群的边界，充分满足未来很长一段时间内的大模型演化。

3.计算资源如何实现最优？

对于一线 AI 开发者与行业智能化用户来说，AI 算力的问题不仅在于稀缺，还在于浪费多、效率低以及运维复杂。为了能够实现将每一比特 AI 算力都投入到有效的任务处理中，CloudMatrix384 可以支持针对不同推训场景，按逻辑超节点来划分资源，从而实现像搭积木一样给 AI 任务分配算力，让算力资源“一切可组合”，意味着用户的所有资源投入都得到充分发挥。

除此之外，CloudMatrix384 超节点还支持 40 天长稳训练，10 分钟快速恢复。让大模型推训过程中的种种卡点、堵点一扫而空。

在此之前，张平安提出：“CloudMatrix384 超节点标志着算力竞争从单点技术突破走向系统架构创新。通过对复杂技术与资源的整合与协同，匹配全面智能时代的企业创新需求，并引领中国 AI 产业生态的全面进步。”

有了能够改变 AI 算力底层逻辑的技术能力，接下来就是需要将 CloudMatrix384 超节点的技术优势向产业释放。而云服务，就是最好的方向。

CloudMatrix384 超节点在技术逻辑上的突破，是打破了单点算力限制，实现算力的弹性、大规模可用，而这种技术特性与云计算的产业特性正好相符。企业在云上获取计算资源，也是为了实现算力规模的自由拓展以及计算资源的灵活匹配。另一方面，AI 大模型推训也有弹性算力需求的特征。

将超节点的技术特性-云计算的服务特性-大模型推训的需求特性，三者关联起来看，不难看出超节点想要在产业环境中发挥最大价值，走向云计算平台就是它的最好归宿。在云上获取 CloudMatrix384 的计算能力，也是最适合大模型应用的算力服务获取方式。

中国文化中说龙从云现。超节点的“龙鳞”，需要在云计算中展露峥嵘。为此，昇腾 AI 云服务早已做好了准备。

自发布以来，昇腾 AI 云服务的体系不断成熟，全球化布局不断完善，至今已经被全球 1300 多家企业选择。在去年 9 月，华为云发布了 AI-Native 的云基础设施 CloudMatrix。在 HDC 2025，华为云正式发布了基于 CloudMatrix384 超节点的新一代昇腾 AI 云服务。这意味着超节点超大规模算力、超强分布式推理能力、最优计算资源等一系列具有颠覆意义的算力突破，都可以基于昇腾 AI 云服务来获取和使用。

为了满足更加多元、复杂的 AI 需求，华为云还升级了 CloudMatrix AI Native 基础设施，使新一代昇腾 AI 云服务更加完善好用。具体而言，华为云 CloudMatrix 在硬件平台实现了芯片和系统工程的进步。在软件层面，则通过重构协议，优化算法、应用融合和调度智能化等方式突破系统性能的上限。

其中，分布式 QingTian 是 CloudMatrix 的核心底座。通过分布式 QingTian 架构，华为云在超节点架构中首次实现了网络 IO 设备池化和内存资源池化。网络 IO 设备池化可以通过分布式 QingTianBox 智能硬件，将网卡、存储等 IO 设备解耦重组，让用户像调用本地资源一样使用全局 IO 能力。内存资源池化则基于华为云创新的 Memlink-direct 技术实现内存跨主机直接共享，从而打破“单机内存墙”，实现 CPU/NPU 与内存的弹性配比。

另一方面，计算集群间的网络联接能力已经成为制约计算效果的关键。华为云打造 MatrixLink 网络技术，实现在 CloudMatrix 中达成重构组网、重构协议、重构通信语义、重构通信调度的网络能力增强，提升大规模 AI 集群的计算效率。

与此同时，最新升级的盘古 5.5 大模型所代表的华为云大模型能力与 MaaS 服务，已经落地到 30 多个行业 500 多个场景，可以充分满足企业用户在模型层的智能化需求。

至此，华为云已经打造了包括算力、模型、AI 基础设施在内，完整、可用、可信赖，且突破以往产业边界的 AI 能力。

新一代昇腾 AI 云服务不仅实现了为世界提供另一种选择，还基于超节点的突破性与颠覆性，达成了为世界提供更好的选择。

从超节点的技术突破，到新一代昇腾 AI 云服务的产业体系构建，AI 算力底座这个宏大命题终于迎来了期盼已久的颠覆。正所谓“龙行有雨”，由此产生的计算变革，将直接惠及用户与行业，进而加速 AI 技术的持续突破与经济价值转化。

从用户视角来看，基于新一代昇腾 AI 云服务来获取超节点算力，既是技术能力上的最佳选择，也是企业价值上对最优选择。

新一代昇腾 AI 云服务具有确定性的运营运维、容灾备份等核心云服务能力，可以实现集群训练故障支持 1min 感知，3min WR 响应与处置，异常故障恢复时间小于 10min。并且云服务开箱可用，能够最大限度降低企业学习成本，同时还是最为经济的 AI 算力获取选择。

而从行业视角来看，新一代昇腾 AI 云服务在各个关键领域都展现出了典型且充分的行业实践，证明了自身融入行业智能化需求的价值与可行性。

在资讯领域，新浪新闻的“智慧小浪”是以开源大模型和微博知微大模型为底座模型，深度融合了通用数据以及新浪独有数据的 AI 产品。基于新一代昇腾 AI 云服务，“智慧小浪”构建了统一的推理平台，实现了推理交付效率提升超过 50%，模型上线速度成倍加快，NPU 利用率提升超过 40%等一系列价值升级。

在 AI 领域，硅基流动基于昇腾 AI 云服务，每天可以为用户提供千亿 token 服务，实现了用户 3 个月期间翻倍。面壁智能使用 CloudMatrix384 超节点，让他们小钢炮模型的推理业务性能得到了 2.7 倍提升。

在科研领域，中科院基于昇腾 AI 云服务自研了训练框架，快速构建中科院 AI4S 科研大模型，打造智能科研平台。

在互联网领域，360 打造的中国首个“超级搜索”纳米 AI 搜索，实现数十家大模型厂商的上百款大模型的高效协作，对 AI 算力有极大需求，也已开启了 CloudMatrix384 超节点的测试。同时，昇腾 AI 云服务还为新浪的微博智搜带来了搜索能力明显提升、回答能力显著增强等体验升级。

从客户价值到行业价值，新一代昇腾 AI 云服务已经可谓是泽被原野。至此，一个“用系统架构取代单点优势”的想法，凝结成了 CloudMatrix384 超节点的复杂技术创新，打磨成了新一代昇腾 AI 云服务的产业通道，最终落地成了千行万业的 AI 实践。

AI 算力陈旧的规则困局，终于迎来了变革的开启。

几年之前，有人说 AI 处在最好的时代，同时也是最坏的时代。最好是因为中国有极佳的 AI 创新氛围，有算法、数据、人才、市场的种种优势，AI 技术在这里一日千里。

最坏是因为中国 AI 所搭建的高楼大厦，都处在地基不牢，随时有坍塌风险的境地里。没有自主且强大的 AI 算力，一切努力都像镜花水月。

经过多年的沉潜与锤炼，以华为为代表的科技企业，选择正视、思考，并去解决这个问题，在巨大的投入与漫长的积累后，最终找到了破局方案，并达成了 CloudMatrix384 超节点这个足以改变 AI 算力规则的变革点。通过新一代昇腾 AI 云服务，这个变革点将融入千行万业，融入中国 AI 算力新的底层规则。

或许不久后我们将发现，AI 算力的大环境得到了改变甚至颠覆，新的定义是：这是变革的时代，这是我们的时代。