Utility-Oriented Visual Evidence Selection for Multimodal Retrieval-Augmented Generation

📄 arXiv: 2605.13277v1 📥 PDF

作者: Weiqing Luo, Zongye Hu, Xiao Wang, Zhiyuan Yu, Haofeng Zhang, Ziyi Huang

分类: cs.CL, cs.AI, cs.CV, cs.IR, cs.LG

发布日期: 2026-05-13

备注: Accepted to ACL 2026

💡 一句话要点

提出面向效用的视觉证据选择方法，提升多模态检索增强生成效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索增强生成 视觉证据选择 信息增益 证据效用 潜在变量 代理加速 多模态融合

📋 核心要点

  1. 现有视觉证据选择方法依赖语义相关性，与下游推理的实际效用存在偏差。
  2. 论文核心思想是将证据效用定义为模型输出分布上的信息增益，并引入潜在变量简化计算。
  3. 实验结果表明，该方法在多个数据集上优于现有RAG基线，并降低了计算成本。

📝 摘要（中文）

视觉证据选择是多模态检索增强生成（RAG）的关键组成部分，但现有方法通常依赖于语义相关性或表面相似性，这与视觉证据对下游推理的实际效用不一致。本文从信息论的角度重新定义了多模态证据选择，将证据效用定义为模型输出分布上的信息增益。为了克服答案空间优化的棘手性，引入了证据有用性的潜在概念，并在温和的假设下，理论上证明了通过潜在变量上的信息增益对证据进行排序等同于答案空间效用。进一步提出了一个无需训练、代理加速的框架，该框架使用轻量级多模态模型有效地估计证据效用。在MRAG-Bench和Visual-RAG上的实验表明，该方法始终优于最先进的RAG基线，同时显著降低了计算成本。

🔬 方法详解

问题定义：现有的多模态检索增强生成（RAG）方法在选择视觉证据时，主要依赖于语义相关性或表面相似性。然而，这些指标并不能很好地反映视觉证据对于下游推理任务的实际效用。因此，如何选择对最终答案最有帮助的视觉证据是一个关键问题。现有方法的痛点在于，它们没有直接优化证据对最终答案的贡献，而是采用间接的代理指标，导致选择的证据可能与任务目标不一致。

核心思路：论文的核心思路是将视觉证据选择问题转化为一个信息增益最大化问题。具体来说，论文将证据的效用定义为该证据能够给模型输出分布带来的信息增益。通过最大化信息增益，可以选择那些能够显著改变模型输出，从而提高答案准确性的视觉证据。为了解决直接优化答案空间信息增益的困难，论文引入了一个潜在的“证据有用性”变量，并证明了在一定条件下，最大化该潜在变量上的信息增益等价于最大化答案空间的信息增益。

技术框架：该方法的技术框架主要包含以下几个阶段：1) 使用轻量级多模态模型提取视觉证据的特征；2) 利用这些特征估计每个证据的“有用性”得分，该得分代表了证据对最终答案的潜在贡献；3) 基于“有用性”得分对证据进行排序，选择得分最高的证据；4) 将选择的证据输入到下游的RAG模型中，生成最终答案。整个框架是无需训练的，并且利用代理模型加速了证据效用的估计过程。

关键创新：该论文最重要的技术创新点在于，它将视觉证据选择问题从传统的语义相关性匹配转化为一个面向效用的信息增益最大化问题。与现有方法相比，该方法直接优化证据对最终答案的贡献，从而能够选择更有效的视觉证据。此外，论文提出的代理加速框架，能够在保证性能的同时，显著降低计算成本。

关键设计：论文的关键设计包括：1) 定义了基于信息增益的证据效用度量；2) 引入了潜在的“证据有用性”变量，并证明了其与答案空间效用的等价性；3) 提出了一个无需训练、代理加速的框架，利用轻量级多模态模型高效地估计证据效用。具体的技术细节包括：如何选择合适的轻量级多模态模型，如何设计“有用性”得分的计算方法，以及如何利用代理模型加速计算过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在MRAG-Bench和Visual-RAG数据集上均优于现有的RAG基线。例如，在MRAG-Bench数据集上，该方法在多个模型家族上都取得了显著的性能提升，并且在Visual-RAG数据集上，该方法也展现出了强大的竞争力。此外，该方法还显著降低了计算成本，使得在实际应用中更具可行性。

🎯 应用场景

该研究成果可广泛应用于需要多模态信息融合的智能问答、视觉对话、图像描述等领域。例如，在医疗诊断中，可以帮助医生选择最相关的医学影像，从而提高诊断的准确性。在智能客服中，可以根据用户的问题选择最相关的产品图片或视频，从而提供更有效的帮助。该研究的未来影响在于，它可以推动多模态信息融合技术的发展，并为各种智能应用提供更强大的支持。

📄 摘要（原文）

Visual evidence selection is a critical component of multimodal retrieval-augmented generation (RAG), yet existing methods typically rely on semantic relevance or surface-level similarity, which are often misaligned with the actual utility of visual evidence for downstream reasoning. We reformulate multimodal evidence selection from an information-theoretic perspective by defining evidence utility as the information gain induced on a model's output distribution. To overcome the intractability of answer-space optimization, we introduce a latent notion of evidence helpfulness and theoretically show that, under mild assumptions, ranking evidence by information gain on this latent variable is equivalent to answer-space utility. We further propose a training-free, surrogate-accelerated framework that efficiently estimates evidence utility using lightweight multimodal models. Experiments on MRAG-Bench and Visual-RAG across multiple model families demonstrate that our method consistently outperforms state-of-the-art RAG baselines while achieving substantial reductions in computational cost.