RAG 创始人关于 RAG Agent 的 10 个思考 (下)

继续上一篇，将后 5 个思考也做一个分享。

6.工程师在“无聊”的事情上花费大量时间：

工程师本应专注于构建流程、提升精度、扩展应用等创造业务价值的工作，但现实中却常常耗费时间在数据分块 (chunking) 策略、文本清洗、构建连接器、配置向量数据库、调整提示、管理基础设施等相对基础且耗时的工作上。应设法将这些工作自动化或平台化。

实践分享

• 有很多已存在的框架和工具可以帮助我们自动化这些工作。比如，使用 LangChain 等开源框架来处理数据分块和文本清洗。

• 使用 Promptflow、LangSmith、LangGraph Studio 等工具来进行大模型响应的跟踪与调试。

• 像 Promptflow 这类框架还可以用来进行模型效果的评估。

巧用已有的工具和框架可以大大减少工程师的常规工作量，让更多的时间和精力投入到更有价值的工作中。

7.让 AI 易于消费：

即使 AI 系统已部署到生产环境，如果没有被用户方便地使用，也无法产生价值。很多时候系统使用率为零。关键在于将 AI 集成到用户现有的工作流中。企业数据 + AI + 集成 = 成功。

实践分享

在没有找到一个惊艳的 AI 落地案例的之前，先考虑将 AI 融入到现有企业的工作流程中。或者只改进企业中的某一个小部分，但是需要确保它能被尽可能的用到。我们曾经有一个团队开发一个 AI Sales bot，嵌入已有的企业网站，以网站的网页内容为知识库，回答浏览网站用户的所有问题。同时根据和用户对话的过程，判断时机推送相关展会的信息。促成最终的潜在销售可能。这类的 AI 功能容易被用户接受，且能在短时间内看到效果。

8.让你的用户“惊叹”(Wow)：

要让 AI 应用产生粘性，需要尽快让用户体验到“惊艳”时刻。例如，帮助用户找到一个他们自己都不知道存在的、埋藏多年的重要文档并回答了关键问题。用户体验设计应围绕创造这种早期价值。

实践分享

还是上面的 AI Sales bot 的客户，在给他们的 Boss 演示 Bot 如何使用销售话术的过程中，他们惊讶的发现 bot 的回复中列举了一个数字，购买他们的某个产品能够节约 20%的成本。而这个数字的依据是什么呢？当基于 RAG 的 bot 将答案以及关联文档一并返回的时候，他们看到了一个多年前的文档，这么好的一个销售点居然被他们忽略了。这个文档是一个多年前的客户反馈，里面提到过这个产品的使用案例和节约成本的数字。

9. 可观测性比准确率更重要：

达到 100% 准确率几乎不可能，90-95% 也许可以。但企业更关心的是那无法避免的 5-10% 的错误会带来什么影响以及如何处理。因此，可观测性，包括理解系统为何给出某个答案、提供溯源依据、建立审计追踪等，比单纯追求更高的准确率更重要，尤其是在受监管行业。

实践分享

• 不用追求 100%的准确率，基于 LLM 的 AI 系统，用户目前对准确率都会有一个合理的预期，也不会将这类应用应用到对准确立很高的业务上。

• 使用 Promptflow 或者 LangSmith 这类 Tracking 工具来追踪模型的输入和输出，帮助我们理解模型的行为。返回结果一定带有参考引用的文档信息，有理有据的给出答案，用户才能更加信任 AI 生成的内容。

10.要有雄心壮志：

很多 AI 项目失败往往不是因为目标太高，而是因为目标太低。不要满足于解决“401k 供应商是谁”这类简单问题，要敢于挑战能带来真正业务转型的难题。

实践分享

让你的 AI 有一个更高的远景目标，而不只是实现的那么一点点功能。

• 基于网站的 AI Sales Bot，你可以理解他的主要功能和一个问答机器人几乎一样。但是如果我们定位这是一个数字员工，他能够和普通员工一样，目标是帮助销售团队提升业绩，帮助客户更好的了解产品。那么对于实现这样的目标，我们就有更多的想象空间了。分析客户的角色，从而主动引导客户的需求。了解客户的需求，主动推送相关的产品信息。基于对话内容分析用户的情绪，主动推送合适的促销活动。

• 给学校开发的 AI 私人教师，如果你带着为了构建一个“教育平权”的理念，来构建一个可以 7*24 小时在线的，专业教师，永远都会不厌其烦的解释给你听的 AI 教师。你会发现要实现这个目标，你要做的事情会比你想象的多很多。例如：你需要考虑如何让 AI 教师能够理解学生的情绪，如何让他能够和学生进行更自然的对话。你需要考虑如何让 AI 教师能够根据学生的学习进度和兴趣来调整教学内容。你需要考虑如何让 AI 教师能够和其他教师进行协作，例如共享教学资源、交流教学经验等。你需要考虑如何让 AI 教师能够和家长进行沟通，例如定期发送学生的学习报告、提供学习建议等。

总结与思考

麦肯锡最新的一项研究显示，AI 企业应用能够带来 4.4 万亿美元的全球经济附加值。而只有 1/4 的企业从中获益。这也体现了 AI 应用现阶段的巨大不确定性，虽然个人消费应用能够带来很多有趣的应用，而且也有企业已经获得利润，但是企业应用由于其严谨性和复杂性，仍然处于探索阶段。希望今天分享的这些内容能够给我们每个人一些启发。期待听到大家在各自企业中 AI 落地应用的经验分享。

视频链接

视频链接

【欢迎关注我的博客】