本文整理自 2023 年 9 月 5 日百度云智大会主论坛，百度集团副总裁侯震宇的主题演讲《大模型驱动云计算创新变革》。观看视频回放请访问大会活动链接。

各位嘉宾朋友们，大家上午好。

刚才沈抖博士已经全面分享了大模型带来的技术革命，发布了千帆大模型平台 2.0，也介绍了大模型在千行百业的成功落地的案例，相信大家对我们正在进入的大模型时代也都充满着期待。

接下来我分享的内容想回归到云计算本身，分享一下大模型会给云计算带来哪些颠覆与变革。我们相信：大模型将驱动云计算的创新并重塑云计算的产业格局。

1    AI 原生时代开启，大模型驱动云计算创新变革

大模型的发展不同于以往的 AI 技术迭代，它同时驱动了底层 IT 基础设施的重构，也带来了上层应用开发模式的变革。

我们回顾一下过去多年来技术发展的脉络。

自 2012 年以来，深度学习就逐步成为人工智能的主流算法。在移动应用上，深度学习大放异彩，算法模型能力成为很多移动互联网企业的核心竞争力。但是，深度学习仅停留在对应用的赋能上，没有从实质上改变应用的研发范式。

自经典云计算诞生以来，计算网络存储的虚拟化使算力成为基础服务，数字化基础设施的格局被云计算所改变。移动应用则采用了对云更加亲和的云原生架构理念做设计，这大幅提升了移动应用的开发迭代效率，一定程度助力了移动应用市场的繁荣。

我们发现，移动应用、深度学习和云计算三个时代有所重叠，移动应用市场的蓬勃也受益于深度学习和云计算的发展，但是应用、AI 技术和 IT 基础设施仍然是三条平行线独立演进。

而在大模型开启的 AI 原生时代，这三条平行线终于迎来了交汇：

在应用层，大模型独有的理解、生成、逻辑、记忆的能力将会在场景中以 AI 原生应用的方式落地。与此同时，大模型会成为通用的服务，即 MaaS，这将大幅降低 AI 落地的门槛、实现真正的 AI 普惠。而作为基础设施的云计算将会在大模型发展的驱动下，在 AI 原生应用的引领下发展成为 AI 原生云，重塑云计算的产业格局。

2    生成式 AI 催生研发新范式：新架构、新服务、新计算

生成式 AI 会催生新的研发范式，这体现在 AI 原生应用落地需要新的架构指导，AI 模型能力的研发和推理需要新的服务承载，而基础设施也会发展出以 AI 为核心的新的计算体系结构。

下面我们逐个来介绍一下：

第一，新的架构。AI 原生应用是面向大模型，以大模型为核心来设计的，要充分发挥大模型新的特征，因此对应用提出了新架构的要求。我们认为构建 AI 原生应用需要几个关键技术组件：

• 首先是 Model，就是模型能力，将以 API 调用的形式提供服务。这里的模型包含基础模型也包括客户自己的微调模型。

• 然后是 Prompt，帮助用户从模型获得更好的回答。

• 还有 Chain 和 Agent 来实现静态编排和动态编排，利用大模型的独有能力实现链式调用。

这些是可以更好地使用到的模型能力，是大语言模型带来的变化。而因为这些变化，应用自然需要对其数据流和业务流进行重塑。

第二，新的服务。模型能力将成为新的基础服务 MaaS，而 MaaS 需要具备模型丰富、易用和面向 AI 原生的三个特点。这要求：

首先，大模型平台应该提供丰富的大模型供客户选择。因为我们相信应用一定是「通专结合」的，未来不可能一个模型解决所有问题，需要模型组合去满足不同客户场景的需求。

其次，大模型平台要简单易用，需要有全套工具链 ，覆盖从数据收集标注到模型研发训练评估，再到模型上线推理优化的全生命周期。

最后，大家都知道数据对于 AI 模型至关重要，平台需要帮助客户建立起自己的数据闭环能力，更好地支持客户模型迭代。

第三：新的计算。大模型需要进行大量数据的高密度计算，对于计算体系结构带来新的要求。

我们看到计算负载在加速向异构计算迁移，且规模越来越大。微秒级互联成为将算力规模化扩展的关键能力。这些都需要我们从整个体系结构的层面上，用软硬一体的方法去解决。

下面我会进一步介绍 AI 原生应用新架构、模型新服务和面向 AI 的新计算基础设施。

3    Prompt the Future，让 AI 原生应用开发更简单

AI 需要在场景内落地，这将由一个应用来实现承载。一个 AI 原生应用如何设计、都包含哪些服务组件，我想这是大家非常关心的。

我这里分享一下一般的业务调用流是什么样的。大模型应用流程从用户的一次请求开始，系统先对用户意图进行拆解编排，得到的多个子任务通常以领域知识增强、搜索增强等方式实现，输出的内容通过大语言模型合成完整结果，最后经过安全模块的审计后返回给用户。基础设施为任务的编排调试、系统的日志监控等提供支持。这是一个基本的大模型业务调用流。

而 AI 原生应用开发的背后则需要三个关键的能力：一是高效的应用开发环境，百度会提供低代码工具、丰富的垂类应用模板和可视化调试工具；二是丰富的领域增强支持，百度提供自研向量数据库及数据湖、搜索增强等服务；三是完备的内容安全保障，我们提供多种手段保障输出内容的安全。

基于以上能力，客户可以非常方便地搭建一个 AI 原生应用。

4    千锤百炼，让模型应用更便捷

刚才抖的分享，大家已经看到我们千帆大模型平台 2.0 的超强能力，帮助企业跨越大模型应用的鸿沟。千帆大模型平台正是按照 AI 原生的全新技术栈打造，在数据、Model、Prompt、Chain、Agents 每一层都提供了丰富的功能和组件，让大模型应用更便捷。

千帆平台的特点总结起来有三个：

• 一是提供多个好用的大模型，不仅有百度自研的文心一言，也提供了多个第三方大模型。同时面向这些模型，提供了重训、微调等可视化工具，支持快速便捷的训模型。

• 二是提供丰富的生态工具并配合整体百度智能云的服务，为大模型落地应用做好了准备。

• 三是预置丰富的数据集，同时也支持应用数据回馈到模型迭代更新，实现数据主动驱动业务迭代。

千帆平台为大模型的研发、服务提供了全生命周期的支持。

5    迭代新生，让基础设施更智能

在基础设施层，百度研发了百舸异构计算平台。百舸平台为大模型和 AI 原生应用提供了：稳定高可靠的系统、高性能的训练推理服务和基于高速网络的数据交换能力。

在高可靠方面，大规模并行训练的稳定性是客户关注的基础设施关键能力之一，百舸具备强大的容错能力，能做到秒级故障感知、分钟级自动故障容错，能实现万卡训练月级不中断，充分满足客户大模型训练需求。

在高性能方面，经过百度多年在 AI 基础设施上的积累，百舸已经实现对公开模型库的训练性能提升 30%+，推理吞吐提升 10 倍。

在高速网络方面，我们有自研的高速网络，支持更低的通信延时和更大的通信吞吐，为算力规模的扩张打好了基础。

6    百度智能云 AI 原生云产品全景图

面对 AI 原生时代的历史机遇，百度智能云已经打造了全方位的产品。这里我们展示一下百度 AI 原生云的产品全景图，大家可以看到我分享的内容只是其中一小部分，更多的产品分享会在下午的《智能计算 &大模型技术》分论坛，欢迎大家到时莅临我们分论坛现场。

7    AI 普惠，让智能触手可及

实现 AI 普惠是我们的信念，我们一直致力于让每一个人、每一个组织都能享受到 AI 技术的便利，打破数字鸿沟，实现公平与进步，让智能触手可及，用科技让复杂的世界更简单，谢谢大家！