TopoGraphRAG-Bench: Evaluating Multimodal GraphRAG on Layout-Grounded Evidence Reasoning

📄 arXiv: 2610.09360v1 📥 PDF

作者: Ruochi Li, Jianzhe Lin, Haoxuan Zhang, Haihua Chen, Junhua Ding, Edward Gehringer, Yang Zhang

分类: cs.AI, cs.CL

发布日期: 2026-10-07

备注: Accepted at the 40th Conference on Neural Information Processing Systems (NeurIPS 2026)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出TopoGraphRAG-Bench以解决多模态文档证据推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 证据拓扑 文档理解 信息检索 GraphRAG

📋 核心要点

  1. 现有的GraphRAG评估主要集中于文本，缺乏对多模态文档中证据拓扑恢复的直接评估。
  2. 本文提出了TOPOGRAPHRAG-BENCH基准，专注于多模态证据推理，涵盖多种证据单元和拓扑结构。
  3. 实验结果表明，多模态GraphRAG系统在整体性能上最强，但在视觉-文本证据对齐和多单元组合时仍存在不足。

📝 摘要（中文）

现实世界中的文档在复杂的页面布局中分布着文本、表格、图形和标题等证据。因此，回答这些文档中的复杂问题不仅需要检索相关段落，还必须恢复连接异构证据单元的证据拓扑。现有的GraphRAG评估主要集中于文本，而多模态文档RAG基准则评估跨模态检索和生成，未直接评估证据拓扑的恢复。本文提出了TOPOGRAPHRAG-BENCH，这是一个基于布局的多模态证据推理基准，包含2024个问题，覆盖201个长篇视觉丰富的文档。问题从文本、图形和表格证据单元自下而上构建，涵盖三种受控拓扑：单跳检索、桥链推理和多源合成。为确保问题保持其预期结构，本文应用了反事实验证以抵抗捷径、模态必要性和证据必要性。

🔬 方法详解

问题定义：本文旨在解决多模态文档中证据拓扑恢复的问题。现有方法主要集中于文本，未能有效处理图形和表格中的关键依赖关系，导致推理能力不足。

核心思路：提出TOPOGRAPHRAG-BENCH基准，通过构建多模态问题并应用反事实验证，确保问题结构的完整性，从而提升证据推理的准确性。

技术框架：整体架构包括问题生成、证据检索和推理三个主要模块。问题生成模块自下而上构建问题，证据检索模块负责从文档中提取相关证据，推理模块则结合多模态信息进行推理。

关键创新：最重要的创新在于引入了布局基础的多模态证据推理基准，强调了证据单元之间的拓扑关系，这与现有方法的文本导向实体关系图有本质区别。

关键设计：在设计中，采用了反事实验证技术，确保问题的捷径抵抗性、模态必要性和证据必要性，同时在评估中引入了拓扑感知的推理指标，以全面评估系统性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，多模态GraphRAG系统在整体性能上表现最佳，但在视觉-文本证据对齐和多单元组合时仍存在显著不足。相比之下，文本-only GraphRAG在关键依赖关系基于图形或表格时表现不佳，而页面级视觉检索缺乏拓扑恢复所需的细粒度结构。这些发现为未来的GraphRAG系统设计提供了重要的指导。

🎯 应用场景

该研究的潜在应用领域包括文档理解、信息检索和智能问答系统。通过提升多模态证据推理能力，能够更好地处理复杂文档中的信息，推动智能文档处理技术的发展，未来可能在教育、法律和医疗等领域产生重要影响。

📄 摘要（原文）

Real-world documents distribute evidence across text, tables, figures, and captions within complex page layouts. Answering complex questions over such documents therefore requires more than retrieving relevant passages: systems must recover the evidence topology that connects heterogeneous evidence units. Existing GraphRAG evaluations remain largely text-centered, while multimodal document RAG benchmarks assess cross-modal retrieval and generation without directly evaluating recovery of the intended evidence topology. We introduce TOPOGRAPHRAG-BENCH, a layout-grounded benchmark for multimodal evidence reasoning in GraphRAG, comprising 2,024 questions over 201 long, visually rich documents. Questions are constructed bottom-up from text, figure, and table evidence units under three controlled topologies: single-hop retrieval, bridge-chain reasoning, and multi-source synthesis. To ensure that questions preserve their intended structure, we apply counterfactual validation for shortcut resistance, modality necessity, and evidence necessity. We evaluate text-only GraphRAG, page-level visual retrieval, and multimodal GraphRAG systems using retrieval, generation, and topology-aware reasoning metrics. Multimodal GraphRAG systems achieve the strongest overall performance, but still fail when visual-textual evidence alignment or multi-unit composition is incomplete. Text-only GraphRAG struggles when key dependencies are grounded in figures or tables, while page-level visual retrieval lacks the fine-grained structure needed for topology recovery. These findings motivate GraphRAG systems that move beyond text-derived entity relation graphs to explicitly model document layouts, cross-modal evidence alignment, and the reasoning roles of evidence units. Code and data are available at https://richardlrc.github.io/TopoGraphRAG-Bench/.