百度智能云千帆 ModelBuilder 大模型服务及开发解读

本文整理自百度云智峰会 2024 —— 大模型平台技术实践论坛的同名演讲。

更多大会演讲内容，请访问：

https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html

最近大模型产业应用圈子里有一句非常流行的话，叫做度日如年。不是说这件事情非常难做，而是非常有趣，每天有新的应用，新的场景，新的用户加入到这个行业里面来，让我们感到非常兴奋。

今天我要介绍的是 ModelBuilder 如何应用在产业和业务实践中。

自从去年 3 月 27 号千帆大模型平台上线以来，我们已经服务了 10 万 + 的用户，接触 1 万多个场景，我亲自参与做了一千多个场景，在企业应用中有非常多关键点，包括场景应用的效果。

首先，现在大模型的应用不仅仅是看他刷榜刷多少分，而是真正在行业应用里面它的表现怎么样，它的效果怎么样；这里指的就是大模型的可塑性，遇到了 badcase 能不能快速解决；以及能不能根据用户的反馈持续迭代模型。模型迭代到底效果好不好、它听不听话，能不能经过很好的 SFT...这就依赖大模型和传统模型结合的基座模型能力，以及非常好用的精调工具链。

第二点推理服务性能。当一个模型真正好用，上线以后，调用量是非常大的，模型越好用，他的业务调用量越大，调用量越大对资源消耗越大。有一个统计说一个真正严肃的应用，在场景里面对资源的消耗达到整个资源消耗的 80% 甚至到 90%，这种模型的性能，它的时延和吞吐非常重要。所以一个模型好不好，不仅仅是说效果怎么样，可塑性怎么样，还有在应用的时候对成本控制，他的性能是不是也能满足应用需求。

第三点稳定性和安全性。一个真正严肃的服务，应该在线上能够经得住考验，能够经历停电、地震等不可控的因素，还能够在各种苛刻的条件下稳定地运行。

今天会从这三个角度介绍千帆大模型 ModelBuilder 怎么提供相应服务。

百度智能云千帆 3.0 正式发布，提供面向生产力场景的企业级服务。升级后的千帆 3.0 为大家提供了一整套的从模型开发到模型服务再到应用开发的全流程工具，其中模型开发和模型服务聚焦到产品上就是百度智能云千帆 ModelBuilder。

我们把目光聚焦到 ModelBuilder 产品全景图。

对于一个大模型的产业应用来说，如果抛开模型开发，只谈模型服务，将是一个没有灵魂的应用。

为什么这么说呢？我们可以举个例子。比如电信反诈场景，这些犯罪分子都是非常狡猾的，我们今天更新策略，犯罪分子明天就能想出其他的策略，所以我们需要不断的根据线上反馈，优化和迭代我们的模型，做到魔高一尺道高一丈。

我们再想一想，如果应用是基于非常好的模型去做的，也达到很好的效果，但是你的竞争对手也可以用这样的 API 调用，你的差异化价值是什么？

不管是 B 端还是 C 端的应用，差异化的价值是我们对于场景的理解。在这些场景上数据的积累将会变成知识，通过平台的方式内化到模型里面，使得我们场景应用能够非常好的满足用户和企业提效的需求，这是模型开发的重要价值和意义。

此外，我们提供了非常多的模型。大家会问为什么我们需要那么多模型，有一个旗舰模型不就解决我所有问题吗？

大家想一想，旗舰模型虽然效果好，但是他的性能，他的推理速度可能没有小参数模型快，在有些场景上不一定适用。

在真正产业应用的时候，通过大模型和传统模型的结合，能够真正满足产业应用中复杂的场景。除此之外我们提供语音和视觉全系列的模型，还有非常优秀的开源模型，通过这些模型组合，再通过模型开发，使得大模型产业应用真正为我们的客户带来更多价值。

下面我们来看一下每一层到底做什么事。

模型服务层提供了丰富的大模型，我们可以从左到右来为大家做简要介绍。

旗舰大模型是效果最好、性能最优的大模型，适用于通用复杂场景、高级分析与规划。在旗舰大模型上我们提供了重要的升级，包括了 ERNIE 4.0 Turbo，相对于原来的 ERNIE 4.0，在大多数的通用场景上效果更好，速度更快，也是我们现在用的最多的旗舰型模型。

在主力模型上，我们在原先的 ERNIE Speed 和 ERNIE Lite 上做了升级。经过半年多的时间，根据线上用户的反馈，基于对场景的理解加入了更多的数据，更新算法，我们推出了  ERNIE Speed Pro 和 ERNIE Lite Pro，更常适合于精调，非常适合于行业应用。

轻量级模型 ERNIE Tiny，适用于特定场景自然语言到指令调用、边缘设备推理场景。

除此之外，我们提供了大量的垂直场景大模型，用于一些非常垂直的，对效果和性能要求非常高的场景，比如说用于角色扮演的 ERNIE Character 模型，用于函数调用 ERNIE Functions 模型，用于小说生成电影场景的 ERNIE Novel 模型。这些模型在特定场景，能够发挥比通用模型更好的效果。

同时，我们还提供了语音和视觉系列的模型，通过不同的模型组合，帮助我们更好地在不同领域落地大模型产业应用。

在语音和视觉相关的模型上，提供了人脸、OCR、语音、语义、图像等基础的 API，在此基础上还提供了一些适用于特定场景应用平台，比如智能文档分析平台等。

人类大多数情况下不是通过文字，而是通过语音进行交流，所以一个好的语音识别接口能够帮助我们通过大模型，使人类和机器、人类和事物之间做更好地交流。

语音合成大模型提供三类重要的功能：

第一类叫超自然的音色合成。传统的语音合成能够实现播音员的效果。但是，只有播音员效果是无法满足各类场景需要的，不同的场景需要不同的语音的风格去做适配，使得整个过程更自然和更真实。

我们听一段用语音合成大模型生成的直播场景录音。

第二类是多角色多情感的合成，特别适合于小说、短剧的语音。

第三类是个性化声音复刻，只需要五分钟的时间可以高保真还原每一个人的声音。

此外，我们对应用平台系统做了全新升级。以智能文档处理为例，我们提供了基于大模型智能文档处理的助手，可以支持文档解析、文档抽取、文档查询比对等非常多的功能，尤其对于文档抽取和审查做了非常多的优化，比如文档抽取支持 16 种文档格式，达到 90% + 的识别准确率，并且可以对多模态内容，比如图像文本表格等等做理解。

在大模型合同审查这一块，我们支持 20 多种合同类型，能够达到 85%+ 的审查意见的采纳率，对于合同审查的人员大大提升工作效率。

讲完模型服务层，再来看一下模型开发层。

一个真正好用的平台需要经过实践检验。我们的模型开发层从数据管理、训练模式、开发工具、评估 &优化再到预测服务部署，以及大模型周边系统，在百度内部所有产品线中，比如百度地图、百度文库、百度 APP 还有文小言等基于生成式 AI 应用，都是通过这个工具链一点点打磨出来。所以我们这个工具链是久经考验。

值得一提的是，我们的工具链支持了文心旗舰大模型的精调。大家知道，对于旗舰模型的精调难度非常大，动辄大几百亿、千亿的参数，一旦出任何问题都会使得整个结果变得不好，所以除了工具链以外，还引入各种优化的措施，来确保大家在使用精调工具的时候获得比较好的效果。

整个精调过程中有几个步骤由为重要，只有经过实践才能发现问题。比如对于精调数据来说，很多用户不知道精调数据该怎么准备，如何优化，基于未经优化的原始数据调出来的效果不能达到预期。基于这样的情况，我们发布了数据洞察和分析平台，能够对原始数据做分析和洞察，比如数据分布分析和数据的萃取、样本定向的发掘等。

结合清洗算子和各种工具能够对数据做进一步处理，从而获得更好数据的效果，使得模型的训练效果能够达到我们的预期。

第二是我们提供了非常丰富的精调能力，我们第一个推出 DPO/KTO 强化学习的功能，让模型达到更好效果。

大多数的大模型强化学习都是用的传统 RLHF 的方式，使用难度非常大。相比 RLHF，DPO/KTO 使用难度缩小很多，虽然效果上限弱一些，但是整个便捷性、效率会比原来的 RLHF 高很多。

因此平台引入这两个强化学习功能，使得开发者可以在平台上享受到强化学习带来效果提升。可以看到经过 DPO 以后，不管是在健康助手、小说角色、生成字数都有大幅度提升。

对于初次使用精调用户来说，我们还提供高频场景精调样板间，用来降低场景调优的门槛，比如预制了行业数据集，提供了立竿见影的调参方法，场景效果超过旗舰级模型的能力，效果具备可泛化性。

这些样板间覆盖了在线教育、电商、交互助手和社交文娱等，使得高频场景用户能够快速上手达到预期效果。

我们的精调工具链在多个场景多个行业得到广泛应用：

合作伙伴全诊通，使用我们的精调工具链在医患对话上达到非常好的效果，使得医生可以把精力更多聚焦在患者身上，可以很快把病历生成出来，使得看诊效率大幅度提升。

百度电商慧播星使用 SFT 对 ERNIE 4.0 进行精调后，大幅度提升问答优质率，使得电商转换得到大幅度提升。

有了好的模型以后，还需要非常好的性能，进行模型压缩和推理加速，极致提升服务性能。千帆 ModelBuilder 提供了非常多压缩功能和推理计算加速的工具链，节约 50% 以上成本的同时，模型吞吐可以提升 3-5 倍。

除此之外，在安全性和高可用做了非常多的升级，精调模型推理服务上我们通过虚拟 API 方式，使得大模型在多地域提供服务，保障模型的稳定性。结合模型的续推、监控、报警的机制，提升整个运维工作效率。

在内容保障方面，在数据训练服务阶段进行了全方位的防控，来提供更可靠安全保障。同时，支持了自定义干预机制，可针对客户进行个性化干预。

在企业私有化部署部署方面进行了升级，一个是百度智能云千帆大模型融合底座，这个底座在私有化环境上实现了大模型和传统模型的统一开发运维。另外一个是百度智能云千帆大模型一体机，使得我们的用户能够快速的开箱即用体验到生成式 AI 能力和相应场景。

大模型融合底座，除了提供大模型和传统模型的统一开发运维能力之外，还提供了企业级基础管控，企业级 AI 共享管理平台和模型风险的管理，使得企业在应用和开发大模型过程中能够更好地使用大模型。

百度智能云千帆大模型一体机支持昇腾、昆仑芯、天数智芯、英伟达等多种芯片，这个基础上结合飞桨框架和大模型平台 Lite 版，可以做到对硬件无缝的迁移和打通。基于这个一体机企业可以快速地进行应用开发和集成。

未来已来，千帆 ModelBuilder 愿意和各位企业和开发者一起探索生成式 AI 产业应用，为用户带来更高效率的更创新的场景和应用一起努力。

革新启航，千帆齐扬谢谢大家。