Vector | Graph：蚂蚁首个开源 Graph RAG 框架设计解读
作者：范志东
检索增强生成（RAG：Retrieval Augmented Generation）技术旨在把信息检索与大模型结合，以缓解大模型推理“幻觉”的问题。近来关于 RAG 的研究如火如荼，支持 RAG 的开源框架也层出不穷，并孕育了大量专业领域的 AI 工程应用。我们设计了一个通用的开源 RAG 框架，以兼容未来多样化的基础研究建设和工程化应用诉求。
1. 概述
RAG 的目标是通过知识库增强内容生成的质量，通常做法是将检索出来的文档作为提示词的上下文，一并提供给大模型让其生成更可靠的答案。更进一步地，RAG 的整体链路还可以与提示词工程（Prompt Engineering）、模型微调（Fine Tuning）、知识图谱（Knowledge Graph）等技术结合，构成更广义的 RAG 问答链路。
除了传统意义上的增强内容生成，RAG 的理念还可以进一步泛化到链路的其他阶段：
增强训练：REALM引入了知识检索器增强大模型预训练，以改进大模型的问答质量和可解释性。
增强语料：MuRAG支持了多模态数据的检索，提升了大模型在文本/图像混合检索场景下的推理质量。
增强知识：GraphRAG使用图社区摘要解决总结性查询任务的问题，将知识图谱技术应用到 RAG。
增强检索：CRAG通过对检索到的文档置信度进行评估，提升问答上下文的质量。
增强推理：RAT在推理阶段将 RAG 与 CoT 相结合，以改进长期推理和生成任务的效果。
我们希望向大家分享一下：引入知识图谱技术后，传统 RAG 链路到 Graph RAG 链路会有什么样的变化，如何兼容 RAG 中的向量数据库（Vector Database）和图数据库（Graph Database）基座，以及蚂蚁的 Graph RAG 开源技术方案和未来优化方向。
2. 传统 RAG
首先回顾一下传统 RAG 的核心链路。
传统 RAG 的核心链路分为三个阶段：
索引（向量嵌入）：通过 Embedding 模型服务实现文档的向量编码，写入向量数据库。
检索（相似查询）：通过 Embedding 模型服务实现查询的向量编码，使用相似性查询（ANN）实现 topK 结果搜索。
生成（文档上下文）：Retriver 检索的结果文档作为上下文和问题一起提交给大模型处理。
传统 RAG 希望通过知识库的关联知识增强大模型问答的上下文以提升生成内容质量，但也存在诸多问题。
论文[23]《Seven Failure Points...》总结了传统 RAG 的 7 个问题：
知识库内容缺失：现有的文档其实回答不了用户的问题，系统有时被误导，给出的回应其实是“胡说八道”，理想情况系统应该回应类似“抱歉，我不知道”。
TopK 截断有用文档：和用户查询相关的文档因为相似度不足被 TopK 截断，本质上是相似度不能精确度量文档相关性。
上下文整合丢失：从数据库中检索到包含答案的文档，因为重排序/过滤规则等策略，导致有用的文档没有被整合到上下文中。
有用信息未识别：受到 LLM 能力限制，有价值的文档内容没有被正确识别，这通常发生在上下文中存在过多的噪音或矛盾信息时。
提示词格式问题：提示词给定的指令格式出现问题，导致大模型/微调模型不能识别用户的真正意图。
准确性不足：LLM 没能充分利用或者过度利用了上下文的信息，比如给学生找老师首要考虑的是教育资源的信息，而不是具体确定是哪个老师。另外，当用户的提问过于笼统时，也会出现准确性不足的问题。
答案不完整：仅基于上下文提供的内容生成答案，会导致回答的内容不够完整。比如问“文档 A、B 和 C 的主流观点是什么？”，更好的方法是分别提问并总结。
总的来看：
问题 1-3：属于知识库工程层面的问题，可以通过完善知识库、增强知识确定性、优化上下文整合策略解决。
问题 4-6：属于大模型自身能力的问题，依赖大模型的训练和迭代。
问题 7：属于 RAG 架构问题，更有前景的思路是使用 Agent 引入规划能力。
3. Graph RAG
考虑到传统 RAG 能力上的不足，Graph RAG 从增强知识确定性角度做了进一步的改进，也就是最开始提到的知识内容增强的思路。相比于传统的基于 Vector 格式的知识库存储，Graph RAG 引入了知识图谱技术，使用 Graph 格式存储知识。
正如论文[2]《Retrieval-Augmented Generation...》所阐述的：基于知识图谱，可以为 RAG 提供高质量的上下文，以减轻模型幻觉。
Structured data, such as knowledge graphs (KGs), provide high-quality context and mitigate model hallucinations.
类似地，Graph RAG 的核心链路分如下三个阶段：
索引（三元组抽取）：通过 LLM 服务实现文档的三元组提取，写入图数据库。
检索（子图召回）：通过 LLM 服务实现查询的关键词提取和泛化（大小写、别称、同义词等），并基于关键词实现子图遍历（DFS/BFS），搜索 N 跳以内的局部子图。
生成（子图上下文）：将局部子图数据格式化为文本，作为上下文和问题一起提交给大模型处理。
需要说明的是，从文本中提取三元组和关键词借助了现有的文本大模型的能力，传统的 NLP 技术如分词、句法分析、实体识别等已经不再是 SOTA。另外，借助于大模型微调技术，可以针对性的构建面向知识抽取、实体识别、自然语言翻译的专有大模型。比如由蚂蚁和浙大联合研发的大模型知识抽取框架OneKE在零样本泛化性能上全面超过了现有模型。以及借助于 Text2GQL、Text2Cypher 技术微调的图查询语言专有模型，可以直接将自然语言转换为图查询语言，代替基于关键词中心的子图搜索从而获得更精确的图谱数据。
4. 通用 RAG 设计
基于以上对传统 RAG 和 Graph RAG 的能力介绍，我们可以发现两种 RAG 架构的核心差异在于知识存储格式的变化（从 Vector 到 Graph），从而导致了 RAG 中索引、检索和生成阶段流转数据格式的变化。而 RAG 的关键流程并未发生根本的改变，基于这个相似性前提，我完全可以抽象出一个更通用的 RAG 结构，以兼容向量索引和图索引，甚至更多的索引格式（如全文索引等）。
4.1 架构设计
于是一个兼容多种知识索引格式的通用 RAG 架构，可以按照如下方式设计。
所有的索引存储统一抽象为 IndexStore，LLM 服务作为构建索引能力依赖（文本模型、嵌入模型等）。
索引存储当下支持向量存储（VectorStore）和知识图谱（Knowledge Graph）两种，保留对其他索引格式的扩展能力。
知识图谱层负责知识的表示和语义抽象，数据底座是图存储（GraphStore）。当然也可以直接对接外部的知识图谱系统。
最底层接入多样化的向量数据库、图数据库、大模型服务等外部组件。
最上层借助于 IndexStore 核心抽象，搭配外围的 Loader/Splitter 实现文本读取切分、Transformer 实现索引的构建、Retriver/Synthesizer 实现知识检索与合成，构建完整的 RAG 能力。
4.2 领域建模
建模是架构落地的第一步，这里对通用 RAG 的核心设计做出说明：
为了让框架有足够的灵活性，我们将索引的加工和存储进行了分离，并使用“桥接模式”构建抽象依赖关系。
索引的加工接口（Transformer）提供三类特定实现：嵌入、抽取、翻译。向量索引走嵌入的方式，如 Text2Vector、OpenAI Embedding 等。图索引走 Extractor，如三元组抽取、关键词抽取等。翻译可以作为通用能力单独对待，承载 DSL 的模型微调能力，如 Text2SQL、Text2GQL、Text2Cypher 等。索引加工的输入是 Splliter 切分好的文本块（未来也可以是多模态数据），输出是索引存储系统，是连接内容和存储的桥梁。
索引的存储接口（IndexStore）提供了向量存储和知识图谱两类实现，知识图谱接口依赖于图存储接口，也可以单独实现。从这里也能看出图存储系统的定位是数据基座而非搜索语义，它和向量存储不在同一个架构层次。
大模型服务的接口设计未在图中展开，我们可以将其看做索引加工过程依赖的内部能力。
4.3 技术选型
综上所述，要构建一个完整的开源 Graph RAG 链路，离不开三个重要的子系统：一个可以支持 RAG 的 AI 工程框架，一个知识图谱系统和一个图存储系统。开源的 AI 工程框架有诸多选型：LangChain、LlamaIndex、RAGFlow、DB-GPT等。知识图谱系统有：Jena、RDF4J、Oxigraph、OpenSPG等。图存储系统有Neo4j、JanusGraph、NebulaGraph、TuGraph等。
而作为蚂蚁首个对外开源的 Graph RAG 框架，我们采用蚂蚁全自主的开源产品：DB-GPT + OpenSPG + TuGraph。
4.3.1 AI 工程框架（@DB-GPT）
DB-GPT 是一个开源的 AI 原生数据应用开发框架，目的是构建大模型领域的基础设施，通过开发多模型管理(SMMF)、Text2SQL 效果优化、RAG 框架以及优化、Multi-Agents 框架协作、AWEL(智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。
4.3.2 知识图谱（@OpenSPG）
OpenSPG 是蚂蚁集团结合多年金融领域多元场景知识图谱构建与应用业务经验的总结，并与 OpenKG 联合推出的基于 SPG(Semantic-enhanced Programmable Graph)框架研发的知识图谱引擎。
4.3.3 图数据库（@TuGraph）
TuGraph 是蚂蚁集团与清华大学联合研发的大规模图处理系统，构建了包含图数据库、图计算引擎、图机器学习、图研发平台的完善图技术体系。支持海量多源的关联数据的实时处理，显著提升数据分析效率，支撑了蚂蚁支付、安全、社交、公益、数据治理等 300 多个场景应用，多次打破图数据库性能基准测试 LDBC-SNB 世界纪录，并跻身 IDC 中国图数据库市场领导者象限。
5. 开源技术方案
在 DB-GPT 的v0.5.6版本中，我们提供了完整的 Graph RAG 框架实现（PR 1506）。接下来我们结合这个 PR，阐述 Graph RAG 的关键实现细节。
5.1 索引
索引加工的统一抽象是TransformerBase接口，目前提供了嵌入、抽取、翻译三类转换器。而图索引的构建，则通过三元组提取器TripletExtractor来实现。
ExtractorBase接口负责信息提取的职责，当下已有的三元组提取器和关键词提取器都依赖了大模型能力，所以抽象类LLExtractor负责与 LLM 交互的公共逻辑，具体的实现类只需要提供提示词模板和结果解析即可。三元组提取器TripletExtractor的提示词模板（受 LlamaIndex 启发），核心理念是通过 few-shot 样本引导大模型生成三元组结构。
大模型让三元组抽取变成了一件非常简单的事情，但是要提高三元组的抽取质量也不是一件容易的事情。最简单的是通过提示词工程不断优化提示词模板，让通用大模型给出更理想的答案。另外使用专有的知识抽取大模型（如 OneKE）可以取得更好的效果，这部分工作还在进行中，我们期望看到OnekeExtractor的社区贡献早日发布。
5.2 存储
索引存储的统一抽象是IndexStoreBase接口，目前提供了向量、图、全文三类索引实现。知识图谱接口KnowledgeGraphBase是 Graph RAG 的存储底座，目前 DB-GPT 内置的BuiltinKnowledgeGraph实现就是基于文本大模型能力构建的，OpenSPG的接入工作已经在逐步推进。
知识图谱提供了和向量数据库同样的接口，让知识的存取过程透明化。文档内容经过三元组解析器_triplet_extractor解析后，直接写入图存储_graph_store。
图存储接口GraphStoreBase提供统一的图存储抽象，目前内置了MemoryGraphStore和TuGraphStore的实现，分别用于本地测试和生产部署，并预留了Neo4jStore的扩展点。
具体的图存储提供了三元组写入的实现，一般会调用图数据库的查询语言来完成。例如TuGraphStore会根据三元组生成具体的 Cypher 语句并执行。
5.3 检索
接口ExtractorBase的另一个实现则是关键词抽取器KeywordExtractor，负责提取用户问题中涉及的实体关键词，它也是借助大模型的能力实现的，同样继承于LLExtractor，提示词模板如下。
关键词的抽取涉及到文本中实体识别技术，在构造提示词时需要考虑单词的大小写、别称、同义词等情况，这部分还有很大的优化空间。另外，借助于模型微调直接翻译自然语言到图查询语句也是值得探索的方向。
图存储接口GraphStoreBase提供了基于关键词的探索接口 explore，会根据抽取的关键词召回局部子图。
这里对接口含义做补充说明：
subs：子图搜索的起点列表。
direct：搜索方向，默认双向搜索，即同时探索引用和被引用关系。
depth：搜索深度，控制图搜索的最大跳数，默认不做限制。
fan：扇出限制，控制每一跳的最大邻居数，避免数据热点问题，默认不做限制。
limit：结果边数限制，默认不做限制。
返回值：Graph 接口类型，表示搜索结果子图，提供了便捷的点边更新 API。
TuGraph 的explore接口实现核心逻辑是将上述参数转化为 Cypher 查询语句，形如：
5.4 生成
和其他向量数据库类似，BuiltinKnowledgeGraph同样实现了IndexStoreBase的相似性查询接口。
关键词通过关键词抽取器_keyword_extractor完成，抽取到的关键词传递给图存储对象_graph_store进行子图探索，探索结果子图直接格式化到提示词上下文字符串content内。
细心的读者可以发现，子图探索的结果直接封装为Graph接口类型，我们甚至还提供了一个MemoryGraph工具类实现。这样实现图探索接口时，就无需将查询结果转化为 Path/Table 等内存不友好的格式了，同时也降低了提示词中编码子图数据的 token 开销。当然这是建立大模型对 Graph 数据结构原生的理解基础上，我们相信这是当下主流大模型的基本能力。
5.5 测试
我们使用《变形金刚》的故事材料tranformers_story.md作为测试文本，验证 DB-GPT 上 Graph RAG 的效果。具体操作手册见 DB-GPT 的文档《Graph RAG User Manual》。
启动 DB-GPT 后，新增 Knowledge Space，选择 Knowledge Graph 存储类型。上传 tranformers_story.md 后切片自动构建图索引。
构建好的知识图谱支持快速预览。
基于知识图谱的对话测试。
6. 优化方向
其实大家在对 DB-GPT 上 Graph RAG 实现进行初步的测试后，会发现当下仍有不少体验问题。不避讳的讲，这里除了功能完善度的原因之外，还有 Graph RAG 自身设计上的不足，这也为后续的进一步优化方向提供了思路。
文章[26]《From RAG to GraphRAG...》总结了 Graph RAG 的不足：
GraphRAG, like RAG, has clear limitations, which include how to form graphs, generate queries for querying these graphs, and ultimately decide how much information to retrieve based on these queries. The main challenges are ‘query generation’, ‘reasoning boundary’, and ‘information extraction’.
总的来看分为三大类：
信息抽取：如何构建高质量的知识图谱？
查询生成：如何在生成知识图谱上的查询？
推理边界：如何限制查询结果的规模？
像前边提到的，知识抽取/关键词/查询语言的微调模型主要专注于信息抽取和查询生成。另外，论文[24]《Reasoning on Graphs...》实现的基于图的推理增强框架（RoG）则是在推理边界方向尝试的创新（思路有点类似 RAT）：
当然上述三个阶段也可以被简化合并为两个阶段：内容索引阶段和检索生成阶段。我们就这两个大的阶段分别讨论 Graph RAG 后续可能的优化方向和思路。
6.1 内容索引阶段
Graph RAG 的内容索引阶段主要目标便是构建高质量的知识图谱，值得继续探索的有以下方向：
图谱元数据：从文本到知识图谱，是从非结构化信息到结构化信息的转换的过程，虽然图一直被当做半结构化数据，但有结构的 LPG（Labeled Property Graph）除了有利于图存储系统的性能优化，还可以协助大模型更好地理解知识图谱的语义，帮助其生成更准确的查询。
知识抽取微调：通用大模型在三元组的识别上实际测试下来仍达不到理想预期，针对知识抽取的微调模型反而表现出更好地效果，如前面提到的 OneKE。
图社区总结：这部分源自于微软的 Graph RAG 的研究工作，通过构建知识图谱时生成图社区摘要，以解决知识图谱在面向总结性查询时“束手无策”的问题。另外，同时结合图社区总结与子图明细可以生成更高质量的上下文。
多模态知识图谱：多模态知识图谱可以大幅扩展 Graph RAG 知识库的内容丰富度，对客观世界的数据更加友好，浙大的MyGO框架提出的方法提升 MMKGC（Multi-modal Knowledge Graph Completion）的准确性和可靠性。Graph RAG 可以借助于 MMKG（Multi-modal Knowledge Graph）和 MLLM（Multi-modal Large Language Model）实现更全面的多模态 RAG 能力。
混合存储：同时使用向量/图等多种存储系统，结合传统 RAG 和 Graph 各自的优点，组成混合 RAG。参考文章[27]《GraphRAG: Design Patterns...》提出的多种 Graph RAG 架构，如图学习语义聚类、图谱向量双上下文增强、向量增强图谱搜索、混合检索、图谱增强向量搜索等，可以充分利用不同存储的优势提升检索质量。
6.2 检索生成阶段
Graph RAG 的检索生成阶段主要目标便是从知识图谱上召回高质量上下文，值得继续探索的有以下方向：
图语言微调：使用自然语言在知识图谱上做召回，除了基本的关键词搜索方式，还可以尝试使用图查询语言微调模型，直接将自然语言翻译为图查询语句，这里需要结合图谱的元数据以获得更准确的翻译结果。过去，我们在Text2GQL上做了一些初步的工作。
混合 RAG：这部分与前边讲过的混合存储是一体的，借助于底层的向量/图/全文索引，结合关键词/自然语言/图语言多种检索形式，针对不同的业务场景，探索高质量 Graph RAG 上下文的构建。
测试验证：Graph RAG 的测试和验证可以参考传统 RAG 的 Benchmark 方案，如RAGAS、ARES、RECALL、RGB、CRUD-RAG等。
RAG 智能体：从某种意义上说，RAG 其实是 Agent 的简化形式（知识库可以看到 Agent 的检索工具），同时当下我们也看到 RAG 对记忆和规划能力的集成诉求（如 RAT/RoG 等），因此未来 RAG 向带有记忆和规划能力的智能体架构演进几乎是必然趋势。另外，Agent 自身需要的长期记忆存储也会反向依赖 RAG 的知识库，所以 RAG 与 Agent 其实是相辅相成、互相促进的。
7. 尾记
通过以上介绍，相信大家对 RAG 到 Graph RAG 的技术演进有了更进一步的了解，并且基于 RAG 的索引、检索、生成三个基本阶段抽象出了通用的 RAG 框架，兼容了 Vector、Graph、FullText 等多种索引形式，最终在开源技术中完整落地。最后通过探讨 Graph RAG 未来的优化与演进方向，总结了内容索引和检索生成阶段的不同改进思路，以及 RAG 向 Agent 架构的演化趋势。Graph RAG 是个相对新颖 AI 工程领域，需要探索和改进的工作还有很多要做，我们诚邀 DB-GPT/OpenSPG/TuGraph 的广大开发者们一起参与共建。
前不久 Jerry Liu（LlamaIndex CEO）在技术报告《Beyond RAG: Building Advanced Context-Augmented LLM Applications》中也抛出了“RAG 的未来是 Agent”相似观点。所以，无论是“RAG for Agents”还是“Agents for RAG”，亦或是“从 RAG 到 Graph RAG 再到 Agents”，目光可及的是智能体将是未来 AI 应用的主旋律。
8. 参考资料
RALM_Survey：https://github.com/2471023025/RALM_Survey
Retrieval-Augmented Generation for Large Language Models: A Survey：https://arxiv.org/abs/2312.10997
A Survey on Retrieval-Augmented Text Generation for Large Language Models：https://arxiv.org/abs/2404.10981
Retrieving Multimodal Information for Augmented Generation: A Survey：https://arxiv.org/abs/2303.10868
Evaluation of Retrieval-Augmented Generation: A Survey：https://arxiv.org/abs/2405.07437
GFMPapers：https://github.com/BUPT-GAMMA/GFMPapers
REALM: Retrieval-Augmented Language Model Pre-Training：https://arxiv.org/abs/2002.08909
RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation：https://arxiv.org/abs/2403.05313
RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing：https://arxiv.org/pdf/2404.19543
RA-DIT: Retrieval-Augmented Dual Instruction Tuning：https://arxiv.org/abs/2310.01352
RAFT: Adapting Language Model to Domain Specific RAG：https://arxiv.org/abs/2403.10131
MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text：https://arxiv.org/abs/2210.02928
Corrective Retrieval Augmented Generation：https://arxiv.org/abs/2401.15884
Full Fine-Tuning, PEFT, Prompt Engineering, and RAG: Which One Is Right for You?：https://deci.ai/blog/fine-tuning-peft-prompt-engineering-and-rag-which-one-is-right-for-you/
An Easy Introduction to Multimodal Retrieval-Augmented Generation：https://developer.nvidia.com/blog/an-easy-introduction-to-multimodal-retrieval-augmented-generation/
Towards Long Context RAG：https://www.llamaindex.ai/blog/towards-long-context-rag
Full Fine-Tuning, PEFT, Prompt Engineering, and RAG: Which One Is Right for You?：https://deci.ai/blog/fine-tuning-peft-prompt-engineering-and-rag-which-one-is-right-for-you/
Advance RAG- Improve RAG performance：https://luv-bansal.medium.com/advance-rag-improve-rag-performance-208ffad5bb6a
Advanced Retrieval-Augmented Generation: From Theory to LlamaIndex Implementation：https://towardsdatascience.com/advanced-retrieval-augmented-generation-from-theory-to-llamaindex-implementation-4de1464a9930
LangChain RAG：https://python.langchain.com/v0.1/docs/use_cases/question_answering/
From Local to Global: A Graph RAG Approach to Query-Focused Summarization：https://arxiv.org/abs/2404.16130
Seven Failure Points When Engineering a Retrieval Augmented Generation System：https://arxiv.org/abs/2401.05856
Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning：https://arxiv.org/abs/2310.01061
GraphRAG: Unlocking LLM discovery on narrative private data：https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/
From RAG to GraphRAG , What is the GraphRAG and why i use it?：https://medium.com/@jeongiitae/from-rag-to-graphrag-what-is-the-graphrag-and-why-i-use-it-f75a7852c10c
GraphRAG: Design Patterns, Challenges, Recommendations：https://gradientflow.com/graphrag-design-patterns-challenges-recommendations/
Implementing GraphRAG for Query-Focused Summarization：https://dev.to/stephenc222/implementing-graphrag-for-query-focused-summarization-47ib
LlamaIndex Graph RAG：https://docs.llamaindex.ai/en/stable/examples/query_engine/knowledge_graph_rag_query_engine/
DB-GPT Graph RAG：https://docs.dbgpt.site/docs/latest/cookbook/rag/graph_rag_app_develop
RAGAS: Automated Evaluation of Retrieval Augmented Generation：https://arxiv.org/abs/2309.15217
Benchmarking Large Language Models in Retrieval-Augmented Generation：https://arxiv.org/abs/2309.01431
CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models：https://arxiv.org/abs/2401.17043v2
ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems：https://arxiv.org/abs/2311.09476
RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge：https://arxiv.org/abs/2311.08147
MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion：https://arxiv.org/abs/2404.09468
OneKE：https://github.com/zjunlp/DeepKE/blob/main/example/llm/OneKE.md
Apache Jena：https://github.com/apache/jena
Eclipse RDF4J：https://github.com/eclipse-rdf4j/rdf4j
Oxigraph：https://github.com/oxigraph/oxigraph
JanusGraph：https://github.com/JanusGraph/janusgraph
NebulaGraph：https://github.com/vesoft-inc/nebula
欢迎访问：geaflow.github.io 2023-07-05 加入
TuGraphAnalytics是性能世界一流的OLAP图数据库。 github.com/TuGraph-family/tugraph-analytics
评论