快速理解 GraphRAG：构建更可靠、更智能的 Chatbot

2024-09-24
湖南
本文字数：3118 字
阅读完需：约 10 分钟

编者按：传统的检索增强生成（RAG）技术在处理需要深入理解实体关系的问题时常常力不从心，那么有什么新的技术可以突破这一限制吗？
本文深入探讨了 GraphRAG 技术，这一创新方案通过将非结构化文本转化为结构化知识图谱，巧妙地解决了上述难题。GraphRAG 能显著提升 AI 系统理解和回答复杂问题的能力，尤其在跨时代、跨学科的问题上表现出色。
作者也指出了实施 GraphRAG 面临的挑战，包括知识图谱构建的复杂性、可扩展性问题以及维护成本等。但它无疑为 AI 对话系统开辟了一条新的发展道路，我们有理由期待未来的 AI 助手能够更智能、更可靠地回答各种复杂问题，为用户提供更高质量的交互体验。

作者 | Rendy Dalimunthe

编译 | 岳扬

开发一个能够处理真实问题并给出精准回答的聊天机器人，实属不易。尽管大语言模型已取得重大进展，但如何将这些模型与知识库结合起来，提供可靠且上下文信息丰富的答案，仍是一个待解的难题。

Photo by Google DeepMind[1] on Unsplash[2]

关键问题通常在于模型的“幻觉”现象——即产生错误或不存在的信息，以及模型在理解信息间微妙关系时的上下文把握能力不足。尽管有一些人尝试构建强大稳固的问答系统，但往往模型给出的答案不尽人意，即使它们接入的是内容全面的知识库，也难以成功。

RAG 技术可以将生成的模型响应与现实世界的数据联系起来，从而有效减少了“幻觉”现象，但要准确回答复杂问题仍是挑战重重。 即便知识库中其实包含了相关信息，只是不那么显而易见，用户还是常会遇到诸如“xx 主题在检索文本中未被明确提及”的回复。在这种情况下，GraphRAG（Graph Retrieval-Augmented Generation）技术就派上用场了，它通过利用结构化的知识图谱，极大地提高了模型提供精确且具有丰富上下文信息答案的能力。

01 RAG：检索与生成的桥梁

RAG 技术是将基于检索的方法和基于生成的方法的优点结合起来的重要一步。面对用户提问，RAG 能够从庞大的语料库中检索到相关的文档或段落，并据此生成答案。因此，我们可以确信，基于实据数据生成的文本既信息丰富又切合上下文。

以“法国的首都是什么？”这样的简单问题为例，RAG 系统会在其语料库中寻找涉及法国及其首都巴黎的信息，检索到相关内容后，生成答案：“法国的首都是巴黎。”这种方法非常适合处理简单问题，并能提供清晰明确的答案。

然而，当遇到更复杂的问题，尤其是那些需要理解实体间关系，而这些关系在检索到的文档中并未明确表述时，RAG 的表现就不尽如人意了。 例如，面对“17 世纪的科学成就如何影响 20 世纪初的物理学？”这样的问题，RAG 系统往往难以给出满意的答案。（关于这个问题的例子，我们稍后还会进一步讨论。）

02 GraphRAG：发挥知识图谱的潜能

正如 Microsoft Research 博客[3]首次提出 GraphRAG 时概述的那样，GraphRAG 的目标是通过整合基于知识图谱的检索方法来克服前文描述的这些限制。简而言之，它将知识库中的非结构化文本转换成结构化的知识图谱，在这个知识图谱中，节点表示实体（比如人物、地点、概念等），而边则表示实体间的相互关系。这种结构化的方式使得模型能够更有效地理解和运用不同信息间的内在联系。

Photo by Alina Grubnyak[4] on Unsplash[2]

接下来，让我们更细致地探讨 GraphRAG 的概念，并通过与 RAG 的对比，以易于理解的方式来揭示其工作原理。

首先，我们设想一个由各种科学和历史文献中的句子构成的知识库，内容如下：

“阿尔伯特·爱因斯坦提出了相对论，这一理论颠覆了理论物理学和天文学。”
“相对论提出于 20 世纪初期，它极大地深化了我们对宇宙空间和时间本质的理解。”
“以运动定律和万有引力定律著称的牛顿为经典力学奠定了基础。”
“1915 年，爱因斯坦在原有狭义相对论的基础上，进一步提出了广义相对论。”
“牛顿在 17 世纪的研究成果，为现代物理学的发展打下了坚实的基础。”

在 RAG 系统中，上述句子将作为非结构化文本存储。例如，当询问“17 世纪的科学成就如何影响 20 世纪初的物理学？”时，如果文档的内容和检索质量不能将 17 世纪的影响与 20 世纪早期的物理学直接联系起来，系统就会陷入困境。它可能只能提供如下答案：“牛顿在 17 世纪的研究工作为现代物理学的大部分内容奠定了基础。阿尔伯特·爱因斯坦在 20 世纪初提出了相对论。”这是因为 RAG 能够检索到相关信息，但却难以清晰地阐释 17 世纪物理学对 20 世纪初物理学发展的具体影响。

与此相反，GraphRAG 将这些文本转换成结构化的知识图谱。知识图谱展现了不同实体间的相互关系，并通过一套规则来组织信息，这样就能揭示出那些不那么明显的联系。

借助 GraphRAG 系统，先前的知识库将转变为一组节点和边的关系，具体如下。

面对“17 世纪的科学成就如何影响 20 世纪初的物理学？”这一问题，基于 GraphRAG 的检索器能够追溯从牛顿的理论到爱因斯坦的成就之间的演变，清晰地展示了 17 世纪物理学对 20 世纪初物理学发展的深刻影响。这种结构化的信息检索使得答案不仅内容丰富，而且精确到位：“牛顿在 17 世纪提出的运动定律和万有引力定律，为经典力学的发展奠定了基石。这些基本原理对阿尔伯特·爱因斯坦在 20 世纪初发展相对论产生了重要影响，相对论进一步拓展了我们对宇宙空间和时间的认识。”

GraphRAG 通过运用结构化知识图谱，提升了模型处理复杂问题的能力，并通过提供明确定义的关系作为答案的基础，降低了产生“幻觉”的可能性。 这种做法实质上使得 GraphRAG 在开发更可靠、更智能的对话式问答系统时更加有效。

将非结构化的知识库转化为结构化的知识图谱，使得 GraphRAG 能够深入理解信息内涵，从而使语言模型能够根据上下文生成准确恰当的回答。这是对话式 AI 朝着更先进、更可靠的聊天机器人系统发展的重要一步。

然而，正如 GraphRAG 带来的其他优势一样，它也面临着一些挑战。

首先，构建知识图谱是一个极其复杂的过程。 将无序的知识库转换为结构化的知识图谱需要精细的实体提取（entity extraction）和关系识别方法（identification of relationships），而这些方法的计算成本可能非常高昂。

其次，可扩展性问题也随之出现。 随着知识库规模的扩大，知识图谱的复杂性也在增加。如果知识图谱变得过大，以至于在运行时难以遍历，那么可能会带来可扩展性问题。对于大规模知识图谱，优化知识图谱检索算法将成为一个主要挑战。

再者，知识图谱的维护成本也是一个问题。 知识图谱需要根据新信息和现有数据的变化不断更新。在一些很可能经常变化的领域，这可能会成为一项非常昂贵的工作，尤其是在技术或医学领域。这意味着，尽管结果可能很有前景，但要长期保持知识图谱的正确性和相关性，还需要付出大量的努力。

尽管如此，GraphRAG 仍有望为未来的对话式 AI Agents 带来了更高的智能程度、可靠性和上下文感知能力。更多的研究和开发工作可以帮助解决与 GraphRAG 相关的一些困难，从而为构建更先进、更智能的人工智能驱动的解决方案铺平道路。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

Rendy Dalimunthe

Specialist in conversational AI, data management, and system design.

END