The Evidence Anchoring Boundary: Where Visual Interventions Matter and When They Help in Multimodal LLMs
作者: Qiji Zhou, Junyi Hu, Peiyu Wang, Yue Zhang
分类: cs.CV, cs.AI
发布日期: 2026-10-09
💡 一句话要点
提出证据锚定边界以优化多模态大语言模型的视觉干预
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉干预 证据锚定边界 校准选择性路由 属性准确率 反事实减法 模型优化
📋 核心要点
- 现有的多模态大语言模型在处理视觉干预时存在效果不稳定的问题，可能导致错误的输出。
- 论文提出通过定义证据锚定边界（EAB）来优化视觉干预的应用，确保干预在有效层次上进行。
- 实验结果表明，校准选择性路由方法在三个检查点上提高了属性准确率1.56至1.81个百分点，显著优于通用减法。
📝 摘要（中文）
视觉干预提供了一种无训练方式来减少多模态大语言模型中的幻觉现象。然而，在某些层次上，干预可能效果有限，甚至可能损害正确答案。本文研究了视觉干预的有效性及其对预测的影响，定义了证据锚定边界（EAB）。通过在不同解码器层应用相同的视觉残差编辑，发现干预效果在EAB之前显著高于之后。进一步比较了反事实减法在不同问题类型上的表现，提出了校准选择性路由方法，显著提高了属性准确率。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型中视觉干预效果不稳定的问题，现有方法在某些层次上可能无效，甚至导致错误答案。
核心思路：通过定义证据锚定边界（EAB），论文提出在有效层次上应用视觉干预，确保干预能够提升模型的预测能力。
技术框架：整体框架包括在不同解码器层应用视觉残差编辑，评估干预效果，并通过校准选择性路由方法优化干预的使用。主要模块包括干预效果评估、边界定义和选择性路由。
关键创新：最重要的创新在于定义了证据锚定边界（EAB），为视觉干预的有效性提供了量化标准，区别于传统方法的随意性。
关键设计：在实验中，采用了相同的视觉残差编辑，并在不同层次上匹配其均方根强度，确保干预的有效性。同时，校准选择性路由方法根据问题类型进行干预，避免了不必要的干预。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在EAB之前的干预效果比之后高出13.78至26.10倍，校准选择性路由方法在三个检查点上提高了属性准确率1.56至1.81个百分点，相较于通用减法表现出显著优势。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等多模态任务，能够有效提升模型在复杂场景下的决策能力，减少错误输出，具有重要的实际价值和未来影响。
📄 摘要（原文）
Visual interventions provide a training-free way to reduce hallucinations in multimodal large language models. However, an intervention may have little leverage at some layers and may damage a correct answer even when it changes the output. We investigate where visual interventions retain leverage and when they improve predictions. First, we apply the same visual-residual edit at successive decoder layers, matching its RMS strength across depth. Across six checkpoints from three model families, we observe a persistent drop in intervention effect and define its operational onset for this edit as the \textbf{Evidence Anchoring Boundary (EAB)}. With boundaries fixed on calibration queries, held-out effects on disjoint evaluation queries before EAB are $13.78\times$--$26.10\times$ larger than those after it. Comparison with intermediate readouts shows that the edit can lose leverage before answer preferences stabilize. Second, we compare counterfactual subtraction across presence, attribute, and relation questions. Subtraction can correct a misleading preference, leave a decision unchanged, or remove a preference supporting the correct answer. Based on these observations, we develop calibrated selective routing, which preserves the original prediction unless calibration supports an intervention for the question type. It improves full-set attribute accuracy by $1.56$--$1.81$ percentage points across three checkpoints, while universal subtraction is neutral or harmful.