MEG-RAG: Quantifying Multi-modal Evidence Grounding for Evidence Selection in RAG

📄 arXiv: 2604.24564v1 📥 PDF

作者: Xihang Wang, Zihan Wang, Chengkai Huang, Quan Z. Sheng, Lina Yao

分类: cs.CL, cs.IR, cs.IT

发布日期: 2026-04-27

💡 一句话要点

提出MEG-RAG以解决多模态证据选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 增强生成 语义基础 信息密度 重排序器 模型泛化 证据选择

📋 核心要点

  1. 现有的多模态检索增强生成系统在判断检索数据与答案语义核心的真实关联性方面存在不足。
  2. 本文提出了多模态证据基础（MEG）作为一种语义感知指标，量化检索证据的贡献，进而引入MEG-RAG框架。
  3. 在M$^2$RAG基准上，MEG-RAG在多个强基线模型中表现优异，展现出显著的准确性和一致性提升。

📝 摘要（中文）

多模态检索增强生成（MRAG）解决了多模态大型语言模型（MLLMs）的一些关键局限性，如幻觉和过时知识。然而，现有MRAG系统在区分检索的多模态数据是否真正支持答案的语义核心方面存在困难。现有指标往往依赖于启发式位置基础的置信度，未能捕捉多模态实体的信息密度。为此，本文提出了多模态证据基础（MEG），一种语义感知指标，用于量化检索证据的贡献。基于MEG，本文引入了MEG-RAG框架，训练多模态重排序器以将检索证据与真实答案的语义锚点对齐。通过优先考虑基于语义基础的高价值内容，MEG-RAG提高了生成输出的准确性和多模态一致性。在M$^2$RAG基准上的广泛实验表明，MEG-RAG在强基线模型上表现出色，并在不同教师模型中展示了强大的泛化能力。

🔬 方法详解

问题定义：本文解决的问题是现有多模态检索增强生成系统在检索数据与答案语义核心的关联性判断上的不足，现有方法依赖于启发式位置基础的置信度，无法有效捕捉信息密度。

核心思路：论文的核心思路是提出多模态证据基础（MEG），利用语义确定性锚定，关注高IDF信息承载的标记，以更好地捕捉答案的语义核心。

技术框架：MEG-RAG框架包括两个主要模块：多模态重排序器和语义锚定机制。重排序器负责对检索到的证据进行排序，而语义锚定机制则用于识别和对齐与真实答案相关的高价值内容。

关键创新：最重要的技术创新点在于MEG的引入，它不同于传统的置信度度量，能够更准确地量化检索证据的语义贡献，提升了生成输出的质量。

关键设计：在设计上，MEG-RAG采用了基于语义的损失函数，强调高IDF标记的使用，以确保模型关注信息密度高的内容，同时优化了重排序器的网络结构以提高性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在M$^2$RAG基准上，MEG-RAG在多个强基线模型中表现出色，准确性提升幅度达到XX%，并在不同教师模型中展现出强大的泛化能力，验证了其有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、信息检索和多模态内容生成等。通过提高多模态数据的选择和生成质量，MEG-RAG能够为用户提供更准确和相关的答案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal Retrieval-Augmented Generation (MRAG) addresses key limitations of Multimodal Large Language Models (MLLMs), such as hallucination and outdated knowledge. However, current MRAG systems struggle to distinguish whether retrieved multimodal data truly supports the semantic core of an answer or merely provides superficial relevance. Existing metrics often rely on heuristic position-based confidence, which fails to capture the informational density of multimodal entities. To address this, we propose Multi-modal Evidence Grounding (MEG), a semantic-aware metric that quantifies the contribution of retrieved evidence. Unlike standard confidence measures, MEG utilizes Semantic Certainty Anchoring, focusing on high-IDF information-bearing tokens that better capture the semantic core of the answer. Building on MEG, we introduce MEG-RAG, a framework that trains a multimodal reranker to align retrieved evidence with the semantic anchors of the ground truth. By prioritizing high-value content based on semantic grounding rather than token probability distributions, MEG-RAG improves the accuracy and multimodal consistency of generated outputs. Extensive experiments on the M$^2$RAG benchmark show that MEG-RAG consistently outperforms strong baselines and demonstrates robust generalization across different teacher models.