Don't Forget to Connect! Improving RAG with Graph-based Reranking

📄 arXiv: 2405.18414v1 📥 PDF

作者: Jialin Dong, Bahare Fatemi, Bryan Perozzi, Lin F. Yang, Anton Tsitsulin

分类: cs.CL, cs.AI, cs.LG, cs.SI

发布日期: 2024-05-28

💡 一句话要点

提出G-RAG：一种基于图神经网络的RAG重排序方法，提升文档连接和语义理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 图神经网络 文档重排序 知识图谱 自然语言处理

📋 核心要点

  1. 现有RAG系统在处理与问题上下文关联不明显的文档或文档间存在复杂连接时存在不足。
  2. G-RAG利用图神经网络对文档间的连接和语义信息进行建模，实现上下文感知的文档重排序。
  3. 实验表明，G-RAG在性能上优于现有方法，且计算成本更低，并显著优于PaLM 2等LLM作为重排序器。

📝 摘要（中文）

检索增强生成（RAG）通过利用现有文档中的上下文来支持生成，极大地提高了大型语言模型（LLM）的性能。当文档与问题上下文明显相关时，这些系统表现良好。但是，当文档仅包含部分信息或与上下文的连接不太明显时，该如何处理？以及我们应该如何推断文档之间的连接？为了回答关于RAG生成的这两个核心问题，我们提出了G-RAG，一种基于图神经网络（GNN）的重排序器，位于RAG中的检索器和阅读器之间。我们的方法结合了文档之间的连接和语义信息（通过抽象意义表示图），为RAG提供了一个上下文感知的排序器。G-RAG优于最先进的方法，同时具有更小的计算占用。此外，我们评估了PaLM 2作为重排序器的性能，发现其明显低于G-RAG。这一结果强调了即使在使用大型语言模型时，重排序对于RAG的重要性。

🔬 方法详解

问题定义：现有RAG方法在处理文档之间存在非显式关系或文档仅包含部分相关信息时，检索效果不佳。传统方法难以有效利用文档间的关联信息，导致生成质量下降。此外，直接使用大型语言模型进行重排序计算成本高昂，且效果不一定理想。

核心思路：G-RAG的核心思路是构建文档之间的图结构，并利用图神经网络学习文档的表示，从而更好地捕捉文档之间的关联信息。通过在图上进行推理，G-RAG能够识别与问题上下文更相关的文档，并对检索结果进行重排序，提升RAG系统的整体性能。

技术框架：G-RAG位于RAG系统的检索器和阅读器之间，作为一个重排序模块。其主要流程包括：1) 使用检索器获取候选文档；2) 构建文档之间的图结构，节点表示文档，边表示文档之间的关系（例如，引用关系、语义相似度）；3) 利用抽象意义表示（AMR）图提取文档的语义信息；4) 使用图神经网络学习文档的表示；5) 基于学习到的文档表示，对候选文档进行重排序；6) 将重排序后的文档传递给阅读器进行生成。

关键创新：G-RAG的关键创新在于利用图神经网络对文档之间的连接和语义信息进行建模，从而实现上下文感知的文档重排序。与传统方法相比，G-RAG能够更好地捕捉文档之间的复杂关系，并利用这些关系来提升检索效果。此外，G-RAG的计算成本相对较低，使其更适用于实际应用。

关键设计：G-RAG使用图注意力网络（GAT）作为图神经网络模型，学习文档的表示。边的权重可以根据文档之间的语义相似度或引用关系进行设置。损失函数采用排序损失，目标是使与问题相关的文档排名更高。具体参数设置需要根据数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

G-RAG在多个数据集上取得了优于现有方法的性能。实验结果表明，G-RAG不仅能够提升RAG系统的准确率，还能降低计算成本。与直接使用PaLM 2等大型语言模型进行重排序相比，G-RAG在性能上具有显著优势，验证了基于图神经网络的重排序方法的有效性。

🎯 应用场景

G-RAG可应用于各种需要检索增强生成的场景，例如问答系统、知识库构建、文档摘要等。通过提升RAG系统对文档间关系的理解能力，G-RAG可以提高生成结果的准确性和相关性，从而提升用户体验和工作效率。未来，G-RAG可以进一步扩展到处理更复杂的文档关系和多模态数据。

📄 摘要（原文）

Retrieval Augmented Generation (RAG) has greatly improved the performance of Large Language Model (LLM) responses by grounding generation with context from existing documents. These systems work well when documents are clearly relevant to a question context. But what about when a document has partial information, or less obvious connections to the context? And how should we reason about connections between documents? In this work, we seek to answer these two core questions about RAG generation. We introduce G-RAG, a reranker based on graph neural networks (GNNs) between the retriever and reader in RAG. Our method combines both connections between documents and semantic information (via Abstract Meaning Representation graphs) to provide a context-informed ranker for RAG. G-RAG outperforms state-of-the-art approaches while having smaller computational footprint. Additionally, we assess the performance of PaLM 2 as a reranker and find it to significantly underperform G-RAG. This result emphasizes the importance of reranking for RAG even when using Large Language Models.