百度智能云：千帆大模型平台升级十大能力，企业级 RAG 全面升级

7 月 5 日,2024 世界人工智能大会(WAIC)期间,百度智能云大模型助力新质生产力发展论坛在在上海世博展览馆举办。会上,百度智能云宣布文心大模型 4.0 Turbo(ERNIE 4.0 Turbo)面向企业客户全面开放;文心旗舰款模型 ERNIE 4.0 和 ERNIE 3.5 宣布大幅降价;百度智能云千帆大模型平台针对模型效果、推理性价比以及 AI 原生应用开发提效发布十余项能力升级。

(百度副总裁谢广军:ERNIE 4.0 Turbo 面向企业客户开放)

ERNIE 4.0 Turbo 面向企业客户开放,文心旗舰模型大幅降价

大模型日均调用量突破 5 亿次、二季度环比增长 150%;累计服务 15 万家企业用户、累计帮助用户精调了 2.1 万个大模型;帮助用户开发出了 55 万个 AI 原生应用。这是百度智能云千帆平台交出的 2024“年中报”,这些数据说明,大模型已经真正进入到了指数级增长的阶段。

百度副总裁谢广军表示,在模型方面,文心系列最新旗舰版大模型——ERNIE 4.0 Turbo 面向企业客户全面开放,输入输出价格分别低至 0.03 元/千 Tokens、0.06 元/千 Tokens。

此外,ERNIE 4.0、ERNIE 3.5 两款旗舰模型大幅降价;ERNIE Speed、ERNIE Lite 两款主力模型持续免费,进一步帮助客户降低大模型使用门槛和试错成本,加速业务创新。

谢广军表示,“用好”模型,与用“好模型”同样重要。千帆 ModelBuilder 作为“双一流平台”,不仅为用户提供了一流的模型,也为用户提供了一流的工具链。

千帆 ModelBuilder 发布全新特性,模型效果更好、推理性价比更高

在大模型工具链方面,ModelBuilder 业界首发 DPO(Direct Preference Optimization,直接偏好优化)、KTO(Kahneman-Taversky Optimization)两类偏好对齐训练方法,帮助用户在无需构建强化学习或奖励函数的条件下,直接利用人类对模型生成文本片段的偏好排序来进行模型优化,大幅提升模型精调效率。

在模型推理方面,ModelBuilder 新增支持 wint8、ptq 等模型量化压缩算法,在不损失模型性能的前提下,通过将模型参数、权重等数值转换为更轻量级的表示方式,从而大幅减少模型推理运算量与延迟,极大提升模型在实际应用场景中的性价比。

此外,针对企业精调专用模型经常遇到的特定场景数据欠缺、大模型通用能力被遗忘等问题,ModelBuilder 全新推出混合文心大模型高质量数据功能,支持用户将文心大模型通用混合语料、文心大模型垂直领域语料与业务数据进行融合,精调出更稳定、效果更好的专用大模型。

千帆 AppBuilder 新增支持私有化部署,全面升级企业级 RAG

千帆 AppBuilder 作为企业级 AI 原生应用开发平台,支持开发者使用预置组件轻松定制自己的业务流程。目前,包含大模型能力组件,AI 能力组件,第三方 API 以及基础云组件等 AppBuilder 官方组件已更新至 60+个。开发者还可以集成、扩建自己特色的组件,灵活选用符合业务特点的不同规格大模型,轻松构建场景化的 AI 原生应用。

全新升级的企业级检索增强生成(RAG),针对企业海量知识检索、自定义策略、企业级安全保障三大业界通用难题进行了全面升级:

新增云存储服务支持,实现资源的弹性扩缩容,打破传统 RAG 普遍使用公共资源池并限制资源上传数量的瓶颈,极大提升检索服务的可扩展性;

针对传统 RAG 在知识预处理环节遇到的系统无法理解文档内容,仅根据内容长度进行简单切片,影响最终知识检索准确性等问题,AppBuilder 此次全面开放了包括各类文档解析、切片策略、多种检索与召回策略在内的各种 RAG 调配功能和策略选项,以产品化方式开放百度企业服务经验,业界唯一;

基于全栈云技术研发投入,持续提升服务安全性与稳定性,保障客户知识检索业务的生产级使用。

此外,千帆 AppBuilder 针对传统 RAG 难以触及公网内容、资源,检索结果时效性不足等问题,全新推出“RAG with 百度搜索”功能,将百度搜索在时效性、客观性方面的优势,与 RAG 在私域知识响应、语言灵活性方面的优势进行能力互补,快速高质量响应用户需求,同时,实现文本、图像、视频等多模态内容的流畅交互体验。

加持百度搜索后的 RAG 还支持用户使用小型专家模型实现智能助手的准确问答,针对 PC、IoT 设备、车机等端侧设备智能算力有限的特点,提供不同尺寸模型进行适配,从而实现性能和效价比的最佳组合。

会上,百度智能云还宣布千帆 AppBuilder 全面支持私有化部署,满足企业数据域内管理、业务高度定制化以及自主可控等要求。在部署方式上,百度智能云同时支持 AppBuilder 与大模型全部私有化,和 AppBuilder 私有化结合调用公有云上大模型的混合云部署方式,满足不同客户的业务需求。

在水务领域,北京污水宝科技有限公司通过千帆 AppBuilder 快速构建了 AI 问答应用——污水宝 AI 助理,无需复杂的开发过程,即可实现环保领域工程信息的智能问答。污水宝支持通过自然语言获取项目线索、项目进度和联系方式等工程信息,方便用户和企业进行相关业务咨询。

百度智能云千帆行业场景解决方案正式发布,加速大模型行业落地

为了进一步降低行业客户落地大模型门槛,百度智能云此次推出千帆行业场景解决方案。基于百度智能云在各行业场景中的最佳实践,打造了场景模型、模型精调样板间、Prompt 模板、应用样板间等参考“样例”,方便有相似业务诉求的客户直接使用或一键复制即可完成大模型应用开发。

“目前,千帆平台已经优先上线了包括教育、人事、企业服务、文娱、医疗在内的 5 大行业,20 多个场景解决方案。”谢广军表示。

在医疗领域,杭州全诊医学基于百度智能云千帆平台打造了 AI Agent 应用——AI 医生助理,在预诊、诊间、住院、手术等多个医疗场景中为医护人员提供病史采集、病历书写、诊疗辅助等支持,大幅提升医护人员工作效率、改善病患就医体验。目前,AI 医生助理服务已经覆盖 45 家三甲医院,105 个区县超 1.5 万家诊所,每日生成门诊病历草稿多达 15 万份,病历质量提升超过 45%,患者服务数量因此提升了 1.5 倍!

在教育领域,中国高科集团旗下英腾教育面向医学考试场景,联合百度智能云基于千帆平台打造了业内首个 AI 医学考试应用产品考试宝典。通过对自有垂类高度结构化数据,覆盖 1800+医学考试科目超过 10 亿的医学文本 tokens,以及英腾教育积累的百亿级专业知识数据进行高效处理和学习,考试宝典能够帮助考生制定个性化的学习计划、精准答疑、依托测评精准定位知识薄弱环节,以及智能推荐学习重点,助力考生大幅提升备考效率。