Gartner研究表明，数据质量问题造成的返工和效率低下，平均每年给企业造成约 1290 万美元的损失。诚然，检索增强生成(RAG)通过大量外部数据显著增强了大语言模型(LLM)的性能。然而数据质量差的陷阱仍可能会损害模型输出的可靠性。

在澳鹏 Appen，我们采访了机器学习从业者和研究人员，了解他们在开发 RAG 流程中面临的挑战。基于这些见解，我们提出了一种以人为本的方法和以数据为中心的工作流程，帮助从业者完成 RAG 开发生命周期的各个阶段。

检索增强生成(RAG)是一种通过整合外部知识来增强语言模型生成的技术。通常是通过大量文档检索相关信息，并使用这些信息指导生成过程来实现的。

提高 RAG 系统的性能对于 AI 开发人员而言，是一项巨大的挑战。评估和优化任务通常需要大量的反复试验，而对于复杂的底层开发过程来说，这只能提供有限的信息。

那么，是否有一种更有效的方法来提升 RAG 系统的性能？为什么说在 RAG 系统中，集成人机交互是必需的，而不是一种选择？

RAG + 人类 = 更高性能的 AI

通过人工监督，可以纠正数据中的错误，并确保检索到的信息相关性，从而为模型开发提供更准确、更符合应用场景的响应。人工反馈还可以实现自适应学习，使模型能够动态调整以适应复杂的数据场景，并通过持续迭代不断改进。

澳鹏 Appen 的 AI 数据平台通过实现数据科学、工程团队以及领域专家之间的无缝协作，显著提升了这一流程的效率。我们的平台支持高质量 AI 训练数据的采集、准备、清理、标注和优化，这对于定制高性能的 RAG 模型至关重要。

澳鹏 RAG 开发工具提供了一套全面的模板，涵盖了开发过程中的基本任务。例如，从复杂的 PDF 中删除重复数据，使用其他系统的标签，或标注丰富的源数据以提高检索质量，以及整理黄金数据集以帮助评估端到端系统等。

RAG 开发的主要步骤

准备数据：通过模板来分割和丰富文档数据，确保嵌入的数据连贯且相关。

构建提示：使用专用模板设计有效的提示，指导问题和命令的设计，并帮助评估质量。

优化模型：评估、排序并优化 RAG 模型的响应，通过识别和纠正差异来提高准确性。

确保模型安全：通过严格的红队测试流程，确保模型稳健性和可靠性；使用 AI 聊天反馈来测试性能并识别潜在漏洞。

澳鹏 RAG 开发工具模板

澳鹏 Appen 预先构建的开发工具模板可帮助创建高效、可靠的 RAG 模型，满足特定的模型开发需求，主要有助于：

确保完整性：根据源文档评估模块，确保模型的相关性和完整性。

信息提取：从 OCR 文档中选择并对信息进行分类；并通过 NER 对文本进行标记和分类，提取必要的细节。

信息检索：通过总结模块，实现有效的信息检索，并利用类别、意图等元数据来丰富检索结果。

确保准确性：将元数据分配给原始文档，进一步改进文本，并对相似的模块进行重复数据删除，以提升模型多样性和独特性。

人工监督对于优化 RAG 系统至关重要，可确保其准确解决用户问题并始终保持最新且相关的响应。通过人类专家管理数据输入和持续更新，RAG 可以有效处理复杂的现实需求。

澳鹏 RAG 开发工具通过人机交互流程，确保企业能够根据自己的需求开发高质量的 RAG 模型。通过提供结构化、模板驱动的数据准备和模型优化方法，助力企业确保 RAG 部署所需的准确性、效率和可靠性。

澳鹏 Appen 支持全栈式大模型数据服务，包括数据集、模型评估、模型调优等；同时，澳鹏智能大模型开发平台全套标注工具及领域专家服务，赋能各类垂类大模型应用的快速部署。