百度智能云千帆，产业创新新引擎
本文整理自 3 月 21 日百度副总裁谢广军的主题演讲《百度智能云千帆，产业创新新引擎》。
各位领导、来宾、媒体朋友们，大家上午好。很高兴今天在石景山首钢园，和大家一起沟通和探讨大模型的发展趋势，以及百度最近一段时间的思考和实践。
自去年 3 月 27 日发布千帆大模型平台到今天，刚好过去了一年的时间。过去这一年，国内外的大模型都在迅速发展，相关应用的爆发趋势也更加明显。
从发展趋势来看，有如下几个特点：
第一， 大模型的技术在不断进步。通过模型架构改进、训练算法调优等方式，大模型的效率和性能都得到了显著提升；
第二，行业应用场景的成熟。大模型在各种行业已经开始落地，这些实践经验激发了行业更多的兴趣和投入；
第三，政府、投资机构对人工智能技术的支持不断增加。这也为大模型的研发、部署和应用提供了更多资源和机会；
第四，社会对人工智能技术的理解和接受度不断提高。用户对于智能化、个性化服务的需求， 也推动了大模型在各种场景中的应用。
但在过去一年与企业的实际接触过程中，我们发现企业落地大模型时，也面临着在落地场景的探索、应用开发的门槛、推理和训练的成本和落地应用的效果等四个方面的挑战。
为了解决这些挑战，帮助企业用户落地，千帆提供了包括算力、模型开发、应用开发在内的一整套的大模型开发工具，为企业打造了大模型服务的超级工厂，帮助企业降低成本、提高效率与模型应用的效果。
千帆平台自发布以来一直保持着高速增长的趋势，相比于去年 12 月，千帆的日均季度环比增长了 97%，翻了接近一倍。
同时，我们也很高兴地跟大家宣布，千帆平台服务客户数已经突破了 8 万，最近一个月就增长了近 1 万。
同时，平台已经精调出 1.3w 个模型，开发应用数也达到了 16w。基于这些数据大家也可以看到，大模型已经真正进入到了快速增长的阶段。
未来，千帆也将帮助企业客户、开发者看到更多「创新机会」。随着千帆客户数量不断增多，我们也感受到，大家目前更关心的是怎么把大模型「用起来」，真正给企业业务带来价值。
今天，我为大家带来全新升级的 AI 原生应用开发平台 AppBuilder，以最好的应用效果、最优的开发体验支撑 AI 原生应用的繁荣。
千帆 AppBuilder，是一个产业级的 AI 原生应用开发平台。它可以帮助广大的客户和开发者不断降低应用开发门槛。
AppBuilder 底层由基础组件和高级组件构成。在基础组件中，包含大模型组件、AI 能力组件等。这些组件都是基于百度多年的技术和实践经验沉淀的。
除了基础组件，AppBuilder 还面向典型的应用场景，深入调优建设了一系列高级组件，比如知识问答类的 RAG、具备运算能力的代码解释器，以及生成式数据分析 GBI 等。
基础组件和高级组件共同支撑 Agent。一方面可以通过工作流编排实现更为复杂的业务逻辑，另一方面 Agent 也具备强大的自主任务规划能力。所有这些底层能力，通过代码态和零代码态两种形态提供服务。同时，多渠道对外集成分发。
千帆 AppBuilder 具备三大核心优势特点：
第一，应用效果领先，具备高精度知识问答效果及精准的自主任务规划能力；
第二，组件多元化且支持自定义接入；
第三，产品开放易用。
接下来我来为大家详细介绍。
讲应用效果就离不开场景。知识问答(也就是 RAG )是大模型最典型的应用场景之一。AppBuilder 在这个场景建设了企业级全链路检索增强的应用框架及周边工具，并做了很多深入细致的优化工作，包括底层基座模型的 SFT 调优、文档解析、语义匹配、问题拆解等环节的策略优化，使得知识问答的效果达到更好的水平。
通过这些优化，AppBuilder 的 RAG 在多场景问答准确率、友好回复、准确拒答等方面可接受度达 95% 以上。大家可以看到下图中的对比数据， AppBuilder 在效果上超越了其他同类产品。
另一个非常典型的应用场景是 Agent。AppBuilder 构建了具备精准自主任务规划能力的 Agent 框架，可实现多工具自动编排， 准确率达到 90% 以上。官方提供了近 30 种编排工具，覆盖电商/互娱/办公/专业服务等主流场景。
同时，AppBuilder 支持开发者接入自定义工具， 通过自动编排与手动编排的结合，实现复杂场景需求的定制。此外，代码解释器的效率与效果持续提升，相比 升级前性能提升 40%、数据分析场景可接受度提升到 95%。
AppBuilder 具备丰富的组件工具，目前已扩充到 55 个。这些组件包括基于百度技术积累和自有业务沉淀的大模型能力组件，如多轮改写、复杂 Query 分解等；也包括 AI 能力组件，比如 TTS、OCR、图像识别等。通过大小模型联合及业务场景化工具组件，共同支撑 AI 原生应用的开发。
此外，AppBuilder 还提供了百度独家开放的业务组件，如在搜索领域有深厚积累的百度搜索，以及一些业界主流场景的第三方 API，比如航班查询、论文查询等。
同时，AppBuilder 支持用户接入自定义组件。我们还提供百度基础云的一些组件，比如 BES 等，这里特别提下专用向量数据库 VDB，它也迎来了一次全新的升级。
向量数据库是企业不可或缺的知识库核心组件，它针对传统知识库问答系统所遇到的性能瓶颈、 维护挑战及规模限制等问题提供了有力解决方案。
VDB 1.0 这一革命性的数据库内核，不仅集成了全面的运维控制和安全防护能力，还兼容了千帆、LangChain 等主流生态系统，使企业能够轻松管理数以千万计的文档知识。
在性能表现上，VDB 与同类型开源产品相比，其在不同应用场景下的性能有不同程度的提升，最高可达 10 倍，真正实现了毫秒级的向量检索速度。
同时，在扩展性方面，支持最大百亿级别的向量数据存储，以及秒级的弹性伸缩响应。这些突出优势确保了 VDB 能够伴随企业业务的不断发展而升级，持续满足日益增长的业务需求。
再回到 AppBuilder。它的第三大优势是开放易用。
首先是主流场景的工具组件开放可灵活编排， 提供丰富的应用示例，用户一次鉴权全部接入。
其次， 提供开源的 RAG 和 Agent SDK ，支持二次开发。本次升级后，最快只需要三步即可完成应用的创建于开发，还可一键对接百度灵境矩阵、微信公众号、微信客服、Web 端/ H5 等渠道。
这里也特别说一下百度灵境矩阵，此次与灵境矩阵的打通，应用将有机会在百度强大的搜索场景中轻松实现分发和挂载，同时也能融入百度的信息流场景，吸引更多潜在用户的目光。
目前，已经有上万开发者和伙伴，通过 Appbuilder 创建出各种场景的 AI 原生应用。
刚刚我分享的是如何帮助企业快速去搭建应用。除了降低企业的应用开发门槛，企业还会有另外一个需求，就是开发出的应用效果怎么能够做好。这背后是通过我们的各种基座模型的能力去实现的。
今天，在千帆大模型平台上的模型迎来了关键升级和全新模型发布，首先让我们来一起看下文心大模型 3.5 和 4.0 的重磅升级。
首先，我来为大家介绍文心大模型 ERNIE 3.5 的重磅升级。
升级后的 ERNIE 3.5，在指令遵循、上下文学习和逻辑推理能力都有显著的效果提升， 同时我们可以看到企业核心的文案创作、信息抽取、工具调用场景都有不同程度的效果优化。
除了普遍应用的 ERNIE 3.5，另一个受到行业广泛关注的是大模型 ERNIE 4.0。它在理解、生成、逻辑、记忆能力等方面均达到业界顶尖水平。
经权威机构测评，ERNIE 4.0 在专项学科能力、安全与责任、以及综合得分均排名第一。作为目前行业领先、以及中文领域最强模型，ERNIE 4.0 已经成为企业在复杂场景应用的最佳选择。
以上就是我们文心大模型 3.5 和 4.0 的升级内容。
随着接触客户及场景越来越多，我们发现一个趋势：很多的公司在使用大模型的时候，成本是他们考虑的关键因素。我们总结了一下这类需求，归纳为【效价比】
结合百度持续的技术升级及领域深耕，我们发现，在特定场景下，参数较小的大模型经过精调可以达到甚至超越大模型的效果，而且能为企业大幅降低成本及响应速度。
今天，我们将为大家带来三款轻量级大模型的发布，便于企业通过推理、精调的方式去实现最优效价比。
首先是全新发布 ERNIE Speed，这是一个最适合微调的基座模型，同时上下文最高支持 128K。
大家可以看到右边的这组数据对比：以小说角色扮演和英语口语练习的场景为例，可以明显看到微调后的 ERNIE Speed 效果超越了大参数量级模型 ERNIE 4.0。
如果企业还要追求更快、更轻、成本更低， 第二款产品 ERNIE Lite 将是企业的首选，同时 Lite 也是一款非常适合低算力、AI 加速卡推理使用的轻量级大模型。
ERNIE Lite 是 ERNIE-Bot-turbo 模型的升级版。我们可以看到新版的 Lite，相较于 Turbo 在情感分析、多任务学习、自然推理等场景下效果提升了 20% 左右。
除了效果上的提升，企业在该模型上的推理调用成本，对比升级前降低了 53%。
最后一款模式可以说是极致低成本、低延迟的最佳模型：ERNIE Tiny。
Tiny 是目前文心系列中部署与精调成本最低的模型，非常适用于检索、推荐、意图识别等高并发、低延时的场景。
举个例子，在搜索推荐场景下，精调后的 Tiny 在推荐词激发环节，相较于之前使用 ERNIE 3.5 模型，对话轮次增长了 3.5%，成本下降了 32%。
除了文心大模型升级以及轻量级大模型的发布外，我们此次还基于垂直场景， 推出了两个产业级最佳实践模型：ERNIE Character 和 ERNIE Functions。
ERNIE-Character 是专为角色扮演类场景研发的一款大模型，非常适合游戏 NPC、客服对话等业务应用。
举一个实际的应用案例，目前我们的某个智能硬件厂商客户，通过 Character 模型打造智能助理，在人设一致性，以及激发用户聊天欲望等方面，给业务带来了显著提升。
另外，ERNIE Functions 作为一款工具调用场景大模型，优点是结构化回答及合成能力强，并且输出格式稳定。我们某个旅游出行客户，通过 ERNIE Functions 打造了智能客服助手，在执行订票、查询航班状态等多种场景下，调用的准确率达到了 92% 以上。
今天，我已经发布完 5 款全新的模型，那么在企业具体应用中，这些模型是如何为企业带来最优效价比的？我来通过一个模型路由的案例，为大家具体说明一下。
模型路由，来源于现在比较流行的 MoE。它的核心理念就是通过轻量级大模型降本增效。
大家可以看到左边，在用户输入问题之后，就接入到 router 模型中。router 模型负责判别用户的意图，在把用户的意图分发到不同的大模型中。
以前整个场景都在用大参数模型。现在，我们就可能基于这种意图判别把很多的垂类场景请求分发到更小尺寸的模型中。在企业的实际应用过程当中，模型路由是一个非常划算的方式。
以手机智能助手为例，通过该模式，用户推理成本可以降低 15%，同时效果和 ERNIE 3.5 持平。未来我们也会把这套方案做成产品，让用户通过精调的方式自主选择分流的方案。
最后，我们再用一张图，来回顾和梳理下百度智能云千帆大模型平台的模型矩阵。
文心大模型 3.5 和 4.0 适合通用复杂场景。轻量级大模型中，ERNIE Speed 和 ERNIE Lite 适用于垂直场景的定制训练。ERNIE Tiny 更快、更实惠，可用于特定场景的自然语言到指令调用，也适用边缘设备推理场景。
垂直场景模型 ERNIE Character 适合角色扮演，ERNIE Functions 适合对话或问答场景中的外部工具使用和业务函数调用。
模型效果能力越强的模型，成本也会更高。 轻量级的大模型在特定场景，经过精调也会达到大参数模型的效果。企业可以在实际应用中，根据业务的需求来灵活选择不同的模型或者模型组合。
以上就是我今天发布的全部内容。
助力产业创新，千帆竞航未来 希望千帆能够助力企业和开发者在大模型的浪潮里，竞发向前，共赢未来。感谢大家!
- - - - - - - - - - END - - - - - - - - - -
推荐阅读
教不会你算我输系列 | 手把手教你HarmonyOS应用开发
百度官方技术账号 2021-01-22 加入
关注我们，带你了解更多百度技术干货。
评论