Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation

📄 arXiv: 2410.20724v4 📥 PDF

作者: Mufei Li, Siqi Miao, Pan Li

分类: cs.CL, cs.IR, cs.LG

发布日期: 2024-10-28 (更新: 2025-02-05)

备注: Accepted by ICLR 2025; Code available at https://github.com/Graph-COM/SubgraphRAG

💡 一句话要点

SubgraphRAG：利用图结构和轻量级模型提升知识图谱检索增强生成效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 检索增强生成 大型语言模型 子图检索 多层感知机

📋 核心要点

  1. 现有知识图谱RAG方法难以在检索效率和效果间取得平衡，无法有效选择适量的相关图信息供LLM使用。
  2. SubgraphRAG通过轻量级多层感知机和并行三元组评分机制实现高效子图检索，并编码方向结构距离提升检索效果。
  3. 实验表明，SubgraphRAG能使小型LLM达到具有竞争力的结果，大型LLM达到SOTA，同时减少幻觉并提高响应的依据性。

📝 摘要（中文）

大型语言模型（LLMs）展现出强大的推理能力，但也面临幻觉和知识过时等限制。基于知识图谱（KG）的检索增强生成（RAG）通过将LLM的输出建立在KG的结构化外部知识之上来解决这些问题。然而，当前的KG-based RAG框架在检索效率和有效性之间难以权衡，难以确定适合LLM处理的相关图信息量。我们提出了SubgraphRAG，扩展了基于KG的RAG框架，该框架检索子图并利用LLM进行推理和答案预测。我们的方法创新性地集成了一个轻量级多层感知机和一个并行三元组评分机制，以实现高效且灵活的子图检索，同时编码方向结构距离以增强检索效果。检索到的子图大小可以灵活调整，以匹配查询的需求和下游LLM的能力。这种设计在模型复杂性和推理能力之间取得了平衡，实现了可扩展和通用的检索过程。值得注意的是，基于我们检索到的子图，像Llama3.1-8B-Instruct这样的小型LLM能够提供具有可解释推理的竞争性结果，而像GPT-4o这样的大型模型能够实现最先进的准确性，且无需微调。在WebQSP和CWQ基准上的广泛评估突出了SubgraphRAG在效率、准确性和可靠性方面的优势，通过减少幻觉并提高响应的依据性。

🔬 方法详解

问题定义：现有基于知识图谱的检索增强生成（RAG）方法，在从知识图谱中检索信息时，难以在检索效率和效果之间找到平衡点。它们要么检索的信息不足以支持LLM的推理，要么检索的信息过多，导致LLM难以处理，从而影响最终的生成质量。此外，现有方法在利用图结构信息方面还存在不足，无法充分利用知识图谱中的关系信息。

核心思路：SubgraphRAG的核心思路是，通过一种高效且灵活的子图检索方法，为LLM提供适量的、与查询相关的知识图谱信息。该方法旨在平衡模型复杂度和推理能力，使得即使是较小的LLM也能在检索到的子图上进行有效的推理。通过编码方向结构距离，SubgraphRAG能够更好地利用知识图谱的结构信息，从而提高检索的准确性。

技术框架：SubgraphRAG的整体框架包括以下几个主要阶段：1) 查询编码：将自然语言查询编码成向量表示。2) 子图检索：利用轻量级多层感知机和并行三元组评分机制，从知识图谱中检索相关的子图。该模块是SubgraphRAG的核心。3) LLM推理：将检索到的子图和原始查询输入到LLM中，LLM基于这些信息进行推理并生成答案。4) 答案生成：LLM生成最终的答案。

关键创新：SubgraphRAG的关键创新在于其子图检索方法。该方法结合了轻量级多层感知机和并行三元组评分机制，实现了高效且灵活的子图检索。此外，通过编码方向结构距离，SubgraphRAG能够更好地利用知识图谱的结构信息，从而提高检索的准确性。与现有方法相比，SubgraphRAG能够更有效地平衡检索效率和效果，并为LLM提供更适量的知识图谱信息。

关键设计：SubgraphRAG的关键设计包括：1) 轻量级多层感知机：用于对知识图谱中的三元组进行评分，从而确定哪些三元组与查询相关。2) 并行三元组评分机制：允许同时对多个三元组进行评分，从而提高检索效率。3) 方向结构距离编码：用于编码知识图谱中节点之间的关系，从而提高检索的准确性。4) 可调节的子图大小：允许根据查询的需求和LLM的能力，灵活地调整检索到的子图的大小。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在WebQSP和CWQ基准测试中，SubgraphRAG在效率、准确性和可靠性方面表现出色。使用Llama3.1-8B-Instruct这样的小型LLM，SubgraphRAG能够达到具有竞争力的结果，而使用GPT-4o这样的大型模型，SubgraphRAG能够实现最先进的准确性，且无需微调。实验结果表明，SubgraphRAG能够有效减少幻觉，并提高响应的依据性。

🎯 应用场景

SubgraphRAG可应用于问答系统、对话系统、知识库构建等领域。通过提供更准确、更可靠的知识，SubgraphRAG可以提高这些系统的性能和用户体验。例如，在问答系统中，SubgraphRAG可以帮助系统找到更相关的答案，并减少幻觉的产生。在对话系统中，SubgraphRAG可以帮助系统更好地理解用户的意图，并提供更自然的对话。

📄 摘要（原文）

Large Language Models (LLMs) demonstrate strong reasoning abilities but face limitations such as hallucinations and outdated knowledge. Knowledge Graph (KG)-based Retrieval-Augmented Generation (RAG) addresses these issues by grounding LLM outputs in structured external knowledge from KGs. However, current KG-based RAG frameworks still struggle to optimize the trade-off between retrieval effectiveness and efficiency in identifying a suitable amount of relevant graph information for the LLM to digest. We introduce SubgraphRAG, extending the KG-based RAG framework that retrieves subgraphs and leverages LLMs for reasoning and answer prediction. Our approach innovatively integrates a lightweight multilayer perceptron with a parallel triple-scoring mechanism for efficient and flexible subgraph retrieval while encoding directional structural distances to enhance retrieval effectiveness. The size of retrieved subgraphs can be flexibly adjusted to match the query's need and the downstream LLM's capabilities. This design strikes a balance between model complexity and reasoning power, enabling scalable and generalizable retrieval processes. Notably, based on our retrieved subgraphs, smaller LLMs like Llama3.1-8B-Instruct deliver competitive results with explainable reasoning, while larger models like GPT-4o achieve state-of-the-art accuracy compared with previous baselines -- all without fine-tuning. Extensive evaluations on the WebQSP and CWQ benchmarks highlight SubgraphRAG's strengths in efficiency, accuracy, and reliability by reducing hallucinations and improving response grounding.