百度智能云千帆 AppBuilder 大模型应用开发解读

本文整理自百度云智峰会 2024 —— 大模型平台技术实践论坛的同名演讲。

更多大会演讲内容，请访问：

https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html

从去年年底到今年，大家除了都在卷大模型之外，更多在卷应用。今天就来给大家介绍一下百度智能云千帆 3.0 最上面一层「应用开发」的部分。

因为只有应用才能最终将大模型技术推向产业实践、创造价值，通过接触各行各业不同开发者，我们由浅到深，将对这些应用的理解大概分了三类。

第一类是原来有一套 APP 或者一套应用系统，能够将大模型作为 Copilot 优化交互体验。这是最常见的形式。

第二类是原来的业务流程还在，能够用大模型降低成本提升效率，比方说原来人工写一个公文需要用很多时间，现在可以用大模型生成一个公文底稿，只需要在底稿基础之上进行修改，可以节省很多时间。

第三类是能够做到原来做不到的事情，比方说用大模型去生成一个 CAD 的图纸，生成一个设计图，他就会产生更大的创新生产力。

但是各行各业的企业在应用大模型落地过程中也会遇到很多问题和挑战，常见的有以下几类：

第一个是准确可靠性的问题，因为大模型最早可能在 C 端的聊天场景里面应用，这些场景对于准确率的要求还没有那么高。但是如果要应用到企业内部的研产供销服各个流程里面，准确率不达到一定程度是没有办法使用的。

第二个是大模型在企业内部和企业自有的应用系统、知识库、数据库等等系统产生关联，才能真正发挥价值。

第三个是大模型技术本身虽然相比上一代小模型，使用门槛已经降低很多，但是依然还是需要去懂大模型的一些原理，它能做什么、不能做什么、擅长做什么，所以对于懂大模型使用的专业性的人才，目前整个市面上还是欠缺的。

第四个是很多企业对于应用大模型的安全可靠性，数据的隐私保护方面也是有非常强的担忧。

针对遇到的四个问题，我们 23 年 10 月份已经发布了百度智能云千帆 AppBuilder，旨在提供企业级大模型应用开发平台，帮助企业解决大模型应用落地过程中上面提出的四个问题。

首先第一个是效果的问题。不管在 RAG 还是 Agent 的应用方面，平台内置能力可以让整个应用效果达到很高的水准。

第二是跟已有系统融合的问题。千帆 AppBuilder 支持企业内部硬件、软件和已有应用系统的集成，借助 AppBuilder 开发出来的应用也可以再植入到应用当中去。

第三是 AI 人才稀缺的问题，我们尽量降低平台使用的门槛，不懂技术的人也能基于这个平台去开发一个应用出来。

第四是数据安全保障的问题，我们已经在今年的 7 月底正式推出千帆 AppBuilder 私有化版。

以上这些是针对现在应用落地过程中问题给出的相应解决方案。

千帆 AppBuilder 的使命就是为了打通从模型到应用落地的最后一公里的问题。

使用 AppBuilder 做一个大模型的应用很简单，通过五步就能创建一个应用。

第一步先开始应用创建，给应用起名字，写一些角色指令，包括一些人设的设定。

第二步可以去选择不同尺寸模型，千帆 ModelBuilder 平台上提供各种尺寸的模型，有旗舰模型、主力模型还有专业领域模型，每一种模型擅长能力不太一样，我们需要根据不同的应用场景去选择合适的模型。

第三步给大模型去做更多能力拓展，比方说给他外挂更多知识库，让它具备更大范围的知识检索能力，或者给它注册更多技术组件、添加一些相应的记忆、配备数字人让他有更好交互呈现方式。

完成这几步后，我们可以去做应用调试和预览。如果整个应用效果如我们所期待一样，可以发布出来，也可以通过 SDK、API 形式集成到企业里面已有的 SaaS 系统、APP 小程序里面去，这样能够去对外提供服务，整个开发过程还是比较简单的。

市面上类似于这样的大模型应用开发平台也不少，我们跟其他平台最大区别是什么？

不管应用开发平台还是其他平台，我们主要强调是企业级。

这个企业级怎么理解，我们认为从五个方面能够体现出企业级和只是玩一玩的学习工具最大的区别。

我们跟其他平台的区别主要在五个方面。第一企业级的 RAG，第二企业级的 Agent，第三企业级的集成，第四企业级的安全部署，最后应用落地还需要一套方法论。下面我详细展开五个部分内容。

第一，企业级 RAG。我们认为 RAG 是现今大模型应用落地最广泛的使用方式，就是给大模型配置上知识库做一个外挂，让大模型通过这样一些文档，理解企业内部很多的规章制度、业务流程等等。

做一个 RAG 系统出来不难，要做一个真正好用，效果好的，真正能够去上生产使用的 RAG 不容易。

在常见的问题中，最重要的是效果和性能。比方说如果数据不做特殊处理，直接把知识库外挂给一个大模型，可能准确率只有 50-60%，但是如果准确率不达到 80% 或 90% 以上，在企业内部是没有办法使用的，针对这个问题我们最近三四个月一直在优化 RAG 效果和性能。

除了效果性能之外，我们也发现有很多客户不光是需要使用企业内部的文档知识，有的时候也涉及到公网上面的知识。所以千帆 AppBuilder 开放了百度搜索跟 RAG 结合的能力，并且在平台上可以配置优先从知识库里面去检索内容，还是优先从互联网上检索内容，做相应的组合使用。

企业内部文档的知识，最起码也是上万几十万甚至上百万量级的，需要平台承载更大容量的知识的导入的工作。所以这是我们升级发布的企业级 RAG 的能力。

第二个企业级 Agent，Agent 就像新时代的网站、APP，就像人的大脑一样，能够理解用户的 query，拆解成不同执行步骤，调度多种工具，完成复杂的事。

比如旅游路线规划、酒店预定等非常复杂的需求，我们发现通过千帆 AppBuilder 这样的产品就能很好的帮客户在不同 APP 之间下发一些任务去完成复杂的工作。

企业级 Agent 需要有极致的效果，需要能够去真正理解用户的意图，并且能够把它给规划好，并且能够调度好，所以基于文心系列模型，针对规划的调度，我们做了很多技术的优化，让它调度准确率能够做到 95% 以上。

除了让大模型自主发挥它的理解能力之外，有很多特别是政企的场景，对于稳定可控的要求非常高，我们支持了大模型自主规划以及人工编排手段，既发挥大模型自主能力，也限定了按照企业内部自己的 SOP 流程规范去运行，能够真正保证整个大脑是既灵活又可控的。

同时，Agent 好比一个人类的大脑，需要一个记忆能力。你跟 Agent 去聊天，它需要能够知道你的喜好、你的习惯，并且个性化地回答各种问题。所以我们最近也上线了记忆能力，包括记忆变量、记忆表、记忆片段，包括短期记忆和长期记忆的能力。在记忆能力方面，我们优化了它的准确率，能够做到 96% 以上。

一个大脑光有很强大的记忆能力还不够，更重要的是大脑能够去驱动，能够调用非常多的工具组件，所以我们提供了 80 多款百度官方组件，包括百度搜索、OCR、语音识别、代码解析器等，使得开发者可以基于这样的企业级 Agent 平台能够构建更强大的 Agent 应用出来。

第三个集成。大模型应用是需要跟我们企业内部的各种的系统去发生关联的，它不是独立孤立存在的系统，所以集成分几个层面：

最下面我们看到的是硬件 CPU/GPU 的集成和百度系模型和三方模型集成和接入。

企业内部多年存在了非常多的知识库、数据库、应用系统，需要有工具能够把这些数据给接上来，它是我们做 Agent 应用的原材料。我们通过千帆 AppBuilder 开发很多应用，需要通过 API 或者 SDK 方式嵌入已有公众号、小程序、APP、CRM、ERP 等等应用系统去，所以千帆 AppBuilder 提供了软硬件知识库、数据库各种导入的操作。

第四个关于企业内部的安全部署的问题。因为我们去年 10 月份首先是在公有云上提供服务，这里面更多偏泛互联网一些客户，包括电商、教育、手机等。同时发现很多的政企、金融、能源、工业等各个行业，也希望用这样的平台开发更多在企业内部使用的 Agent。

所以我们也在 24 年 7 月底正式发布干帆 AppBuilder 私有化版，为政企客户提供服务，它的核心能力和公有云类似，额外做了软硬件适配的工作，包括企业内部对于权限更细粒度的管理需求。

私有化版一共有两个版本，一种是纯私有化，千帆 AppBuilder 平台工具和大模型本身均是私有化部署的；第二种是混合云的方式，千帆 AppBuilder 平台是私有化，但是依赖的大模型可以调用其他公有云上的大模型，这种混合方式既能保障我们的数据不出域，另外也可以享受到公有云上大模型不断日新月异迭代能力提升的好处。

最后一个，前面我们介绍的都是工具，其实工具摆在这儿，用好和用不好，最终产生的结果是截然不同的，所以在这个过程中我们也沉淀了一套应用落地方法论，包括大量不同尺寸大模型到底怎么选、Prompt 怎么调、RAG 调优怎么调、问数调优怎么调，以及组件开发和 Agent 调优能力，我们将这些经验变成文档，变成课程输出给我们的客户和伙伴，让大模型真正落地变得更简单。

接下来简要介绍几个案例。

第一个案例，某直辖市的城投集团。他的诉求是整个集团下属十几个污水处理厂，希望开发大模型应用出来给水厂使用，并且需要平台把所有大模型应用纳管起来。

最终的方案是一个平台 + 五个应用的方式，一个平台就是千帆 AppBuilder 平台作为应用的开发工具，作为整套业务的中枢存在。上面五个应用，面向管理人员的运营驾驶舱、污水工艺顾问、设备运维助手、报告辅助编写、操作票生成助手。我们先找了其中一个水厂做应用试点，成功后将把已经开发的应用复制到其他的十几个水厂。

整个的应用的分发都是通过千帆 AppBuilder 平台来完成的，所以它能看到应用日常使用的情况，评估应用效果并指导更新迭代。同时，集团借助这一个平台就完成了全部的应用开发和应用分发。

第二个案例是云上公有云的服务——污水宝，主要做污水处理招投标信息采集和查询的工作。在这个场景中之前遇到最大的困难是，他有百万个项目，历史上非常多年的数据要去做检索，千帆 AppBuilder 支持它的上百万的信息的导入，通过刚才我们介绍的企业级 RAG 能力，每天能够提供 30 万次的检索服务，并且准确率能够达到 90% 以上。

第三个案例是中卫慧通，这是我们武汉政务行业的合作伙伴，他们帮助村镇政府开发出一个本地的应用——村长 Copilot，给村民提供政策答疑，办事服务。从去年年底开始合作，到目前已经服务 18 个区县，覆盖近千万居民。

最早使用 AppBuilder 的时候，开发一个应用可能需要两三周时间。最近，基于越来越强的平台能力，可以实现对于一个新拓的区域，一天时间完成应用的开发到上线，并且现在每天调用量将近 300 万次，相当于有上万名村干部给居民提供服务。

村长 Copilot 不仅可以提供一些政策咨询答疑的服务，还可以进行信息采集上报，比如哪个东西丢了，还是马桶堵了，都可以通过微信群、小程序方式上报到后端，由政务服务人员处理。

如果要使大模型最终产生价值，还是需要通过各个场景里面的应用来最终实现，这有赖于深入各个垂直行业领域的伙伴的支持。

我们诚挚希望能够有更多合作伙伴加入到百度智能云千帆生态里面，跟我们一起探索在各行各业里面更多的应用场景落地，希望为整体的企业数字化转型、智能化升级能够贡献百度的力量。