CLIMB: Confidence-Guided Complementary Evidence for Multimodal Retrieval-Augmented Generation

📄 arXiv: 2610.03421v1 📥 PDF

作者: Hang Gao, Wujiang Xu, Zhixing Zhang, Kai Mei, Jingyi Yang, Dimitris N. Metaxas

分类: cs.CL

发布日期: 2026-10-02

备注: EMNLP 2026 Findings

💡 一句话要点

提出CLIMB以解决多模态检索增强生成中的证据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 视觉问答 生成模型 信心控制 互补证据

📋 核心要点

  1. 现有多模态RAG系统在处理知识密集型视觉问答时，常常依赖冗余的检索结果，导致支持证据不足。
  2. CLIMB通过构建互补证据池并实施信心控制的细化，优化了答案更新过程，避免了不必要的冗余。
  3. 在Encyclopedic-VQA和InfoSeek数据集上的实验表明，CLIMB在性能上显著优于现有的检索增强多模态基线。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉推理方面表现出色，但知识密集型的视觉问答常常需要超出图像和模型参数知识的外部文本证据。现有的多模态检索增强生成（RAG）系统通常依赖于Top-$K$检索或重排序，这可能返回冗余段落，并且对答案更新是否得到充分支持的控制有限。本文提出了CLIMB，一个无训练的推理时框架，通过构建紧凑的互补证据池并进行信心控制的细化，显著提升了检索增强的多模态基线性能。

🔬 方法详解

问题定义：本文旨在解决多模态检索增强生成（RAG）中对外部文本证据的依赖不足问题。现有方法往往返回冗余段落，缺乏对答案更新支持的有效控制。

核心思路：CLIMB的核心思路是构建一个紧凑的互补证据池，并在此基础上进行信心控制的答案细化。通过这种设计，能够有效减少冗余信息，提高答案的可靠性。

技术框架：CLIMB的整体架构包括两个主要模块：互补证据池的构建和信心控制的细化过程。首先，使用MMR风格的目标函数构建证据池，然后通过R/E/C评估器对段落进行评分，最后根据信心估计器进行答案更新。

关键创新：CLIMB的主要创新在于其训练-free的推理框架和信心控制的细化机制。这一设计与现有方法的本质区别在于不需要修改底层检索器或MLLM，便能有效提升答案的准确性。

关键设计：在互补证据池的构建中，采用了查询相关性与段落冗余的平衡策略；在细化过程中，R/E/C评估器根据相关性、证据特异性和跨模态对齐进行评分，信心估计器则确保只有在信心提升时才更新答案。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Encyclopedic-VQA和InfoSeek数据集上的实验结果显示，CLIMB在性能上显著优于现有的检索增强多模态基线，具体提升幅度达到XX%（具体数据待补充），验证了其在多模态推理中的有效性。

🎯 应用场景

CLIMB的研究成果在知识密集型视觉问答、信息检索和多模态学习等领域具有广泛的应用潜力。其框架能够有效提升模型在复杂场景下的推理能力，未来可用于智能助手、教育工具和自动化内容生成等实际应用中。

📄 摘要（原文）

Multimodal large language models (MLLMs) have shown strong visual reasoning abilities, but knowledge-intensive visual question answering often requires external textual evidence beyond the image and the model's parametric knowledge. Existing multimodal RAG systems commonly rely on Top-$K$ retrieval or reranking, which may return redundant passages and provide limited control over whether an answer update is sufficiently supported by the retrieved evidence. We propose \textit{CLIMB}, a training-free inference-time framework for multimodal RAG. CLIMB first constructs a compact complementary evidence pool using an MMR-style objective that balances query relevance and passage-level redundancy. It then performs confidence-controlled refinement within this fixed pool: an R/E/C critic scores passages by relevance, evidence specificity, and cross-modal alignment, while an evidence-grounded confidence estimator accepts an updated answer only when the estimated confidence increases. This design provides a simple stopping criterion and reduces unnecessary refinement without modifying the underlying retriever or MLLM. Experiments on Encyclopedic-VQA and InfoSeek show that CLIMB consistently improves over retrieval-augmented multimodal baselines. Ablations further indicate that complementary pooling, critic-based scoring, and iterative confidence-controlled refinement each contribute to the final performance.