百度集团副总裁吴甜：大语言模型面临三大技术挑战

9 月 17 日，由中国人工智能学会、江西省科学技术厅、南昌市人民政府共同主办的 2023 第十二届中国智能产业高峰论坛（CIIS 2023）在江西南昌开幕。中国工程院戴琼海院士、赵春江院士，蒋昌俊院士等多位高校科研院所和企业嘉宾分享学术前沿、展示技术创新，共同推动智能产业高质量发展。百度自研大语言模型“文心一言”表现亮眼，获得了学术和产业界的高度赞誉。

“文心一言在 8 月 31 日率先面向全社会开放服务，首日回答了网友 3342 万个问题，细分使用场景包括各类写作、文案创意、问答、咨询、代码等十分广泛。”百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜在论坛报告中分享了文心一言的用户使用以及其背后的技术创新。

百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜

大模型技术在过去几年取得了快速的发展，特别是重新定义了人机交互方式，从图形用户界面（GUI）走向了自然语言交互（LUI）。大语言模型具备了理解、生成、逻辑、记忆这四项重要能力，可与人进行自然的交互，辅助人完成文图创作、规划、解题、编程等学习、工作、生活和陪伴等场景下方方面面的需求，成为出色的智能助理。据 IDC、人民数据、新华网、清华大学等众多机构的评测报告显示，百度文心大模型 3.5 版支持下的文心一言中文能力突出；综合能力在评测中超过 ChatGPT，遥遥领先于其他大模型，稳居国内第一。

从“文心一言”的技术架构图来看，其底层是从数万亿数据和数千亿知识中融合学习得到的预训练大模型，可谓“读书破亿卷”。在预训练大模型的基础上，采用有监督精调、人类反馈的强化学习、提示（Prompt）技术等让文心一言的输出更符合人们对它的预期。同时百度还研发了知识增强、检索增强、对话增强等独有技术，从准确性、逻辑性、时效性、安全性等方面提升文心一言的模型效果。

吴甜表示，提升大语言模型能力主要面临三方面的技术挑战，一是要提升效果，二是要追求效率，三是要实际可用。文心一言在效果、效率、应用方面开展了系统化和综合性的技术工作，为用户带来服务体验的持续提升。

效果方面，“文心一言”通过多种策略优化数据源及数据分布、基础模型长文建模、多类型多阶段有监督精调、多任务自适应有监督精调、多层次多粒度奖励模型等技术创新，全面提升基础通用能力；在检索增强和知识增强的基础上，通过知识点增强，提升对世界知识的掌握和运用；通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络，提升逻辑能力；通过构建数据、内容、模型和系统安全的全面安全体系，保障大模型的安全性。

效率方面，百度自主创新的深度学习平台“飞桨”和“文心大模型”协同优化，通过端到端自适应混合并行训练技术以及压缩、推理、服务部署的持续优化，文心大模型训练速度达到原来的 3 倍，推理速度达到原来的 30 多倍。

应用方面，面向场景的数据驱动、提示构建和插件增强，让文心一言能够更好地满足各种场景需求。其中插件方面，文心一言已上线百度搜索、览卷文档、E 言易图、说图解画、一镜流影等原生插件，具备了生成实时准确信息、长文本摘要和问答、数据洞察和图表制作、基于图片的创作和问答、文生图/视频等能力，并将通过插件生态，携手开发者持续扩展文心一言的能力边界。

论坛现场，吴甜展示了文心一言在市场分析、代码辅助、智能办公等场景下的操作过程和应用效果，原本数周的工作在几分钟之内就可以完成，带来了显著的效率提升。

“以文心一言为代表的大语言模型，正带来通用人工智能的曙光，将重塑人们生产和生活的方式，重构智能产业格局。”技术发展之快，一日千里，而有应用的技术方显价值。大语言模型、生成式 AI 成为全民的热点，如何把先进技术转化为先进生产力，仍需政产学研用全产业链全方位的戮力协同，建设 AI 技术基础设施和生态，共同推动产业智能化升级。