Revisiting RAG Retrievers: An Information Theoretic Benchmark

📄 arXiv: 2602.21553v1 📥 PDF

作者: Wenqing Zheng, Dmitri Kalaev, Noah Fatsi, Daniel Barcklow, Owen Reinert, Igor Melnyk, Senthil Kumar, C. Bayan Bruss

分类: cs.IR, cs.AI, cs.LG

发布日期: 2026-02-25

💡 一句话要点

提出MIGRASCOPE，基于互信息的RAG检索器分析框架，用于评估和优化检索增强生成系统。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG系统 互信息 检索器评估 信息论 检索器集成 MIGRASCOPE 语言模型

📋 核心要点

  1. 现有RAG检索器缺乏系统性的比较和理解，难以选择和组合，评估工具也无法充分捕捉其互补优势。
  2. 论文提出MIGRASCOPE框架，利用互信息理论量化检索器的质量、冗余性、协同性和边际贡献。
  3. 实验表明，精心选择的检索器集成可以超越任何单一检索器，并提供了关于现有检索器贡献水平的独特见解。

📝 摘要（中文）

检索增强生成(RAG)系统严重依赖于检索器模块，以便为大型语言模型提供相关的上下文。尽管最近提出了许多检索器，它们各自建立在不同的排序原则之上，例如词汇匹配、密集嵌入或图引用，但对于这些机制如何不同和重叠，仍然缺乏系统的理解。现有的基准主要比较整个RAG流程或引入新的数据集，对于选择或组合检索器本身几乎没有提供指导。直接比较检索器的基准使用有限的评估工具，无法捕捉互补和重叠的优势。本文提出了MIGRASCOPE，一个基于互信息的RAG检索器分析范围。我们重新审视了最先进的检索器，并引入了基于信息和统计估计理论的原则性指标，以量化检索质量、冗余、协同作用和边际贡献。我们进一步表明，如果仔细选择，检索器的集成优于任何单个检索器。我们利用开发的工具在主要的RAG语料库上提供关于最先进检索器的贡献水平的独特见解。我们的发现为现代检索技术的结构提供了新的视角，并为设计稳健和高效的RAG系统提供了可操作的指导。

🔬 方法详解

问题定义：现有RAG系统中的检索器选择和评估缺乏系统性方法。不同的检索器（如基于词汇匹配、密集向量、图引用等）各有优劣，但如何量化它们的性能、冗余性和互补性，以及如何有效地组合它们，仍然是一个挑战。现有的RAG评估benchmark通常侧重于端到端性能，而忽略了对检索器本身的深入分析。

核心思路：论文的核心思路是利用信息论中的互信息来量化不同检索器之间的关系。互信息可以衡量两个随机变量之间的依赖程度，因此可以用来评估一个检索器提供的上下文信息对于另一个检索器来说是冗余的、互补的还是独立的。通过分析检索器之间的互信息，可以更好地理解它们的优势和劣势，并选择合适的检索器进行集成。

技术框架：MIGRASCOPE框架主要包含以下几个阶段：1) 检索器选择：选择一系列具有代表性的检索器，例如基于BM25的检索器、基于密集向量的检索器等。2) 检索结果收集：使用选定的检索器在给定的数据集上进行检索，并记录每个检索器返回的文档。3) 互信息计算：计算不同检索器返回的文档之间的互信息。这需要定义一个合适的概率分布来表示文档之间的关系。论文可能使用了诸如Jaccard系数或余弦相似度等方法来衡量文档之间的相似性，并将其转化为概率分布。4) 性能评估：基于互信息的结果，评估每个检索器的质量、冗余性、协同性和边际贡献。5) 检索器集成：根据评估结果，选择合适的检索器进行集成，以提高RAG系统的整体性能。

关键创新：MIGRASCOPE的关键创新在于将信息论中的互信息概念引入到RAG检索器的分析中。通过互信息，可以量化不同检索器之间的关系，从而更好地理解它们的优势和劣势。这为检索器的选择和集成提供了一个新的视角，并可以帮助设计更稳健和高效的RAG系统。

关键设计：论文的关键设计可能包括：1) 互信息计算方法：如何定义文档之间的概率分布，以及如何有效地计算互信息。2) 性能评估指标：如何基于互信息的结果，定义合适的指标来评估检索器的质量、冗余性、协同性和边际贡献。3) 检索器集成策略：如何根据评估结果，选择合适的检索器进行集成，例如使用加权平均或排序融合等方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，精心选择的检索器集成可以显著优于任何单一检索器。具体性能提升数据未知，但强调了MIGRASCOPE框架在指导检索器选择和集成方面的有效性。该研究在多个RAG语料库上进行了验证，提供了关于现有检索器贡献水平的独特见解。

🎯 应用场景

该研究成果可应用于各种需要检索增强生成技术的领域，例如问答系统、对话系统、知识图谱构建等。通过MIGRASCOPE框架，可以更好地理解和优化RAG系统中的检索器，从而提高系统的准确性和效率，并降低成本。该研究对RAG系统的设计和优化具有重要的指导意义。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) systems rely critically on the retriever module to surface relevant context for large language models. Although numerous retrievers have recently been proposed, each built on different ranking principles such as lexical matching, dense embeddings, or graph citations, there remains a lack of systematic understanding of how these mechanisms differ and overlap. Existing benchmarks primarily compare entire RAG pipelines or introduce new datasets, providing little guidance on selecting or combining retrievers themselves. Those that do compare retrievers directly use a limited set of evaluation tools which fail to capture complementary and overlapping strengths. This work presents MIGRASCOPE, a Mutual Information based RAG Retriever Analysis Scope. We revisit state-of-the-art retrievers and introduce principled metrics grounded in information and statistical estimation theory to quantify retrieval quality, redundancy, synergy, and marginal contribution. We further show that if chosen carefully, an ensemble of retrievers outperforms any single retriever. We leverage the developed tools over major RAG corpora to provide unique insights on contribution levels of the state-of-the-art retrievers. Our findings provide a fresh perspective on the structure of modern retrieval techniques and actionable guidance for designing robust and efficient RAG systems.