Layers, Sinks, and Scaling: Adaptive Evidence Selection for Multimodal Large Language Models

📄 arXiv: 2609.16795v1 📥 PDF

作者: Zhenbin Wang, Lei Zhang, Lituan Wang, Wei Huang, Yan Wang, Zhenwei Zhang

分类: cs.AI

发布日期: 2026-09-15

💡 一句话要点

提出自适应证据选择方法以提升多模态大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 自适应证据选择 视觉问答 证据高亮 推理优化 知识密集型任务 动态分配

📋 核心要点

  1. 现有多模态大语言模型在处理视觉问题时，可能忽视重要的视觉和文本证据，导致回答不准确。
  2. 本文提出自适应相关性引导证据分配（AREA），通过动态分配证据高亮来提升模型的表现，解决了固定策略的局限性。
  3. 在四个知识基础视觉问答和七个标准多模态基准测试中，AREA在训练无关的高亮方法中取得了最佳性能。

📝 摘要（中文）

多模态大语言模型（MLLMs）通过结合图像中的视觉证据和外部来源的文本事实来回答知识密集型视觉问题。然而，现有方法在生成前采用固定的一次性策略，无法适应不同示例对证据的需求和文本证据的相关性变化。为此，本文提出了一种训练无关的推理时方法——自适应相关性引导证据分配（AREA），通过生成单个探针令牌来读取视觉和文本的相关性，并做出三项决策，从而实现动态证据高亮。实验结果显示，AREA在多个基准测试中表现优异，超越了其他训练无关的高亮方法。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在回答视觉问题时，无法灵活适应不同证据需求和相关性变化的问题。现有方法采用固定的高亮策略，无法有效利用视觉和文本证据。

核心思路：提出自适应相关性引导证据分配（AREA），通过生成探针令牌来动态评估视觉和文本的相关性，从而实现证据的自适应分配。该方法不需要额外训练，能够在推理时灵活调整。

技术框架：AREA的整体架构包括三个主要模块：1) 生成探针令牌以读取相关性；2) 根据自然注意力覆盖和视觉沉没污染决定是否干预；3) 通过相关性熵确定暴露的证据量，并在生成过程中根据因果上下文注意力峰值刷新文本。

关键创新：AREA的创新在于其动态证据分配机制，能够根据具体情况灵活调整高亮策略，与传统固定策略方法相比，显著提升了模型的适应性和准确性。

关键设计：在设计中，AREA使用固定的骨干层来生成探针令牌，并通过自然注意力覆盖和相关性熵等参数来控制干预和证据暴露量，确保高效的推理过程。实验中使用了九个冻结的MLLM检查点进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个知识基础视觉问答和七个标准多模态基准测试中，AREA方法在训练无关的高亮方法中取得了最佳性能，具体表现为在多个任务上相较于基线提升了显著的准确率，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像理解和人机交互等。通过提升多模态大语言模型的证据选择能力，能够显著提高系统在复杂场景下的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) can answer knowledge-intensive visual questions by combining visual evidence from images with facts retrieved from external sources. However, MLLMs may overlook relevant evidence in both modalities, attending weakly to the textual sentences or visual regions needed for the correct answer. Recent efforts address this by highlighting retrieved text and marking visual regions before generation, but apply a fixed, one-shot policy that cannot adapt to three sources of variation: whether highlighting is necessary, how much evidence different examples require, and when different textual evidence becomes relevant as the answer unfolds. We introduce Adaptive Relevance-guided Evidence Allocation (AREA), a training-free inference-time method that formulates evidence highlighting as adaptive allocation. AREA generates a single probe token to read visual and textual relevance from fixed backbone layers, then makes three decisions: i) whether to intervene (controlled by natural attention coverage and visual sink contamination), ii) how much evidence to expose (determined by relevance entropy), and iii) when to refresh text during generation (triggered by causal context-attention peaks). Across four KB-VQA and seven standard multimodal benchmarks with nine frozen MLLM checkpoints, establishes the best performance among training-free highlighting methods.