华为云受邀出席 AICon2024 分享 AI Agent 在企业生产中的技术实践
近日, InfoQ 在北京举办行业技术盛会——AICon 全球人工智能开发与应用大会 2024,华为云 aPaaS 首席架构师陈星亮受邀出席,和技术爱好者分享 AI Agent 在企业生产中的技术实践。
大模型技术发展浪潮下,AI Agent 成为新一代 AI 原生应用范式。当前,在问答、交互类应用中,大模型+AI Agent 已经给用户带来新一代体验。但当 AI Agent 进入企业生产场景时,会面临新的挑战,如:企业生产场景的专业复杂问题、AI 生成结果难以达到生产场景的可用标准以及主题偏离、恶意诱导等安全防护问题。华为云 aPaaS 首席架构师陈星亮从上述痛点和挑战出发,分享华为云在实际场景的技术实践,解决企业引入 AI 生成技术的瓶颈,使得 AI Agent 在企业生产场景得以成功运用。
华为云 aPaaS 首席架构师陈星亮在 AICon 现场分享
AI Agent 进入企业生产场景时的挑战
AI Agent 引领了新一波人工智能技术浪潮,进入企业生产场景时主要面临四类挑战:
专业性:特定领域的专业复杂问题需要专业知识,Agent 理解难度大,生产场景要求输出准确率大于 90%,并且要专业、简洁、高效;
协作性:大模型、传统模型、现有 API 协同调度难,在业务流程中难闭环;
责任性:企业生产和客户服务场景对输出严肃性要求高,要保证内容的正确、及时、完整、可解释;
安全性:专业知识是企业核心资产,既要共享,又要防泄露,大模型框架内集成的模块或本身可能含漏洞,成为安全威胁。
华为云在 AI Agent 的探索与实践
针对专业性、协作性、责任性、安全性四大挑战,华为云进行了五大技术探索:
一、企业词表
1)多轮理解和主动澄清,将指令理解准确率提升到 90%以上;
2)优化知识地图,分门别类建设企业词表;
3)建设大模型数据准入标准,完善数据治理标准并持续清洗
二、模型编排
大模型善于理解生成,小模型精于感知执行,将模型编排能力和原有 IT 系统、原有传统模型结合起来,解决复杂问题
三、外挂知识库
让动态知识快速更新和循环,紧跟企业知识更新节奏,确保实时交互体验
四、防退化
纳入数据飞轮能力,基于知识的敏感度提高循环频率,加快知识库更新迭代,不断赋予 AI Agent 持续自学习能力,保持数据最新
五、防安全风险
企业对模型自身的安全很难去做提升,可以从数据、大模型交互、Agent 应用自身这三个角度提升安全能力:
数据安全:在训练过程中,对敏感数据自动化识别和归类,评估清洗程度和可暴露程度,平衡可用性和隐私保护;在推理过程中,识别输入的敏感数据,过滤和替换后,无感知还原输出内容
模型交互安全:在企业内部建好模型网关,把内外部模型统一接入起来,并在此基础上搭建三层安全隔离带,第一层针对模型返回的内容建立安全评分滤网,通过通检或抽检方式及时发现模型自身的安全问题;第二层建立企业信息安全滤网,检查所有的调用,看是否包含敏感信息;第三层建立企业领域滤网,各领域的敏感词和控制力度不一,各领域基于这套机制自行控制,更好地将关键信息隔离在内部
Agent 框架应用安全:在跟模型交互过程中,要把 Agent 规划的动作和原有的安全技术检查结合起来;在任务执行过程中,针对代码执行的环境,要加上对应的安全技术;应用框架自身和三方组件中可能存在漏洞、服务越权问题,要多加关注,及时防护。
AI 原生应用引擎产品体验入口
华为云将上述技术实践融入了自身平台型产品——AI 原生应用引擎,面向企业提供低门槛、高效率 Agent 开发/运行平台,将大模型能力接入到应用中,使能企业场景应用智能化,充分释放 AI 大模型价值。
AI Agent 在企业生产场景的运用效果
场景案例 1:客服助手
随着业务量逐年增加,业务团队面临人力持续增长的压力,使用 Agent 降本增效已经迫在眉睫。研发团队通过 Prompt+垂域知识增强检索,搭建原始框架,基于人工标注、外挂知识库微调大模型,再通过制定标注规范、融入客服作业流,驱动作业和 AI 训练双循环等手段逐步提升标注质量,最终准确率达到 90%。
场景案例 2:会议纪要生成
基于大模型、ASR 语音识别、智能文档解析等模型编排,完善会议纪要总结能力,经过语音转写、ASR 纠错、口水稿分段、核心观点提取等步骤,大幅提升会议纪要生成效果。
场景案例 3:生产指挥
Agent 进入专业领域后,带来了很大的工程能力挑战。研发团队在原有机制的技术基础之上做了对应的优化,通过多轮澄清、任务分解、API 检索、序列长度控制等手段,最终在智能巡检等专业场景上取得了良好效果。
未来展望
未来大致会有三类 AI Agent,围绕企业生产场景,帮助人、事、物更高效的完成工作任务。
第一是人+AI:规划、协同完成复杂任务,现在大部分都是面向人的任务,帮助人甚至替代人处理一些事情;
第二是事+AI:分解、执行业务功能,Agent 在应用中占的比重会越来越大,逐渐取代一些原有的应用;
第三是物+AI:感知、改变物理世界,在企业中,尤其是工业场景,让设备变得智能化也将势在必行。
随着大模型、Agent 技术的提升,Agent 将进入更多的企业生产场景,使用程度逐渐加深,使用难度慢慢变弱,希望未来大家一起把这些技术做得更加工具化、产品化和平台化,让各行各业都能更容易地实现智能化。
版权声明: 本文为 InfoQ 作者【华为云开发者联盟】的原创文章。
原文链接:【http://xie.infoq.cn/article/e5262164f65e303dcae6e05bf】。文章转载请联系作者。
评论