Think Parallax: Solving Multi-Hop Problems via Multi-View Knowledge-Graph-Based Retrieval-Augmented Generation

📄 arXiv: 2510.15552v2 📥 PDF

作者: Jinliang Liu, Jiale Bai, Shaoning Zeng

分类: cs.CL, cs.AI

发布日期: 2025-10-17 (更新: 2025-12-29)

💡 一句话要点

ParallaxRAG：通过多视角知识图谱检索增强生成解决多跳推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多跳推理 知识图谱 检索增强生成 注意力机制 语言模型

📋 核心要点

  1. 现有KG-RAG方法依赖扁平嵌入和噪声路径探索，导致检索质量不高，影响多跳推理性能。
  2. ParallaxRAG将查询和知识图谱三元组解耦到多视角空间，利用注意力头专业化构建更干净的子图。
  3. 实验表明，ParallaxRAG在WebQSP和CWQ数据集上取得了有竞争力的检索和QA性能，并减少了幻觉。

📝 摘要（中文）

大型语言模型（LLMs）擅长语言理解，但常出现幻觉，且难以进行多跳推理。基于知识图谱的检索增强生成（KG-RAG）提供了 grounding，但多数方法依赖于扁平嵌入和噪声路径探索。我们提出了ParallaxRAG，一个对称地将查询和图谱三元组解耦到多视角空间的框架，从而实现鲁棒的检索架构，显式地强制头部多样性，同时约束弱相关路径。我们的方法基于一个观察：不同的注意力头专注于不同推理阶段的语义关系，从而促成推理链的不同跳。这种专业化使得ParallaxRAG能够构建更干净的子图，并引导LLMs进行 grounded 的、逐步推理。在WebQSP和CWQ上的实验，在我们的统一、可复现的设置（BGE-M3 + Llama3.1-8B）下，展示了有竞争力的检索和QA性能，以及减少的幻觉和良好的泛化能力。我们的结果突出了多视角头部专业化是知识 grounding 的多跳推理的一个原则性方向。我们的实现将在论文被接收后立即发布。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在多跳推理任务中存在的幻觉问题，以及现有知识图谱检索增强生成方法中存在的噪声路径探索问题。现有方法通常依赖于扁平嵌入，无法有效区分不同推理阶段的语义关系，导致检索到的知识不准确，影响最终的推理效果。

核心思路：论文的核心思路是利用多视角注意力头专业化来构建更干净的子图，从而引导LLM进行 grounded 的、逐步推理。通过将查询和知识图谱三元组解耦到多视角空间，并显式地强制头部多样性，可以更好地捕捉不同推理阶段的语义关系，减少噪声路径的干扰。

技术框架：ParallaxRAG框架主要包含以下几个阶段：1) 查询和知识图谱三元组的多视角解耦；2) 基于多视角表示的知识图谱检索；3) 利用检索到的知识构建子图；4) LLM基于子图进行多跳推理。该框架对称地处理查询和图谱三元组，确保检索过程的鲁棒性。

关键创新：论文的关键创新在于提出了多视角头部专业化的概念，并将其应用于知识图谱检索增强生成中。通过观察到不同的注意力头专注于不同推理阶段的语义关系，论文设计了一种显式地强制头部多样性的检索架构，从而构建更干净的子图，减少噪声路径的干扰。

关键设计：论文的关键设计包括：1) 如何将查询和知识图谱三元组解耦到多视角空间；2) 如何设计损失函数来强制头部多样性；3) 如何利用检索到的知识构建子图，并将其输入到LLM中进行推理。具体的参数设置和网络结构细节将在论文发布后公开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ParallaxRAG在WebQSP和CWQ数据集上取得了有竞争力的检索和QA性能。在统一、可复现的设置（BGE-M3 + Llama3.1-8B）下，ParallaxRAG不仅提升了QA准确率，还显著减少了LLM的幻觉问题，并表现出良好的泛化能力。

🎯 应用场景

该研究成果可应用于问答系统、智能助手、知识图谱构建与推理等领域。通过提升多跳推理的准确性和可靠性，可以改善用户体验，并为更复杂的知识密集型任务提供支持。未来，该方法有望扩展到其他类型的知识库和推理场景。

📄 摘要（原文）

Large language models (LLMs) excel at language understanding but often hallucinate and struggle with multi-hop reasoning. Knowledge-graph-based retrieval-augmented generation (KG-RAG) offers grounding, yet most methods rely on flat embeddings and noisy path exploration. We propose ParallaxRAG, a framework that symmetrically decouples queries and graph triples into multi-view spaces, enabling a robust retrieval architecture that explicitly enforces head diversity while constraining weakly related paths. Central to our approach is the observation that different attention heads specialize in semantic relations at distinct reasoning stages, contributing to different hops of the reasoning chain. This specialization allows ParallaxRAG to construct cleaner subgraphs and guide LLMs through grounded, step-wise reasoning. Experiments on WebQSP and CWQ, under our unified, reproducible setup (BGE-M3 + Llama3.1-8B), demonstrate competitive retrieval and QA performance, alongside reduced hallucination and good generalization. Our results highlight multi-view head specialization as a principled direction for knowledge-grounded multi-hop reasoning. Our implementation will be released as soon as the paper is accepted.