Propose and Attend: Training-free MLLM Grounding Confidence via Multi-Token Localized Attention

📄 arXiv: 2607.05978v1 📥 PDF

作者: Daniel Shalam, Emanuel Ben Baruch, Avi Ben Cohen, Tal Remez

分类: cs.CV, cs.AI

发布日期: 2026-07-07

💡 一句话要点

提出多令牌局部注意力以解决多模态大语言模型的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 局部注意力 幻觉现象 物体检测 时间定位 无训练方法 置信度评分

📋 核心要点

  1. 现有的多模态大语言模型在生成局部预测时，常常出现幻觉现象，导致预测质量不高。
  2. 本文提出多令牌局部注意力（MTLA），通过后处理评分来评估预测令牌对声称区域的关注程度，避免了训练过程中的复杂性。
  3. 实验表明，MTLA在多个模型和模态下显著提高了幻觉AUROC，并且作为置信度评分提升了检测性能。

📝 摘要（中文）

多模态大语言模型能够发出局部预测，如物体的边界框和视频音频事件的时间窗口，但这些区域的幻觉现象非常普遍。模型自身的令牌对数几乎没有信息量，混淆了基础质量与输入模糊性。本文提出了多令牌局部注意力（MTLA）：一种无训练的后处理评分方法，用于衡量预测令牌对其声称区域的关注程度。通过仅在声称区域内求和并跨所有预测令牌聚合，MTLA恢复了更强的基础信号。该方法在多个多模态大语言模型和三种模态下，显著提高了幻觉AUROC，提升幅度为7到38。作为重排序的置信度评分，MTLA几乎将一个开源8B通用模型的零-shot COCO检测AP从20.4提升至37.0，缩小了与监督检测器的差距。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在生成局部预测时的幻觉问题。现有方法的痛点在于模型的令牌对数无法有效反映基础质量，且常常与输入模糊性混淆。

核心思路：论文提出的MTLA方法通过后处理评分来衡量预测令牌对声称区域的关注程度，避免了训练过程中的复杂性。通过在声称区域内求和并跨所有预测令牌聚合，MTLA能够恢复更强的基础信号。

技术框架：MTLA的整体架构包括三个主要模块：首先，模型生成局部预测；其次，计算声称区域内的注意力分数；最后，聚合所有预测令牌的注意力分数以获得最终的置信度评分。

关键创新：MTLA的核心创新在于其无训练的后处理评分机制，区别于现有方法仅在整个输入模态上求和并读取单一响应令牌的方式，从而提供了更强的基础信号。

关键设计：在设计中，MTLA通过聚焦于声称区域内的注意力分数来提高评分的准确性，确保了模型在不同模态下的广泛适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MTLA在多个多模态大语言模型上显著提升了幻觉AUROC，提升幅度在7到38之间。此外，作为置信度评分，MTLA将开源8B通用模型的零-shot COCO检测AP从20.4提升至37.0，几乎翻倍，缩小了与监督检测器的差距。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在物体检测、视频和音频事件的时间定位等领域。MTLA的无训练特性使其能够快速集成到现有系统中，提升多模态模型的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal large language models can emit localized predictions, bounding boxes for objects and temporal windows for video and audio events, but they hallucinate these regions prolifically. The model's own token log-probabilities are nearly uninformative: they conflate grounding quality with input ambiguity, and coordinate tokens become near-deterministic once the model commits. We propose Multi-Token Localized Attention (MTLA): a training-free, post-hoc score that measures how strongly a prediction's tokens attend to the region they claim. Prior attention-based detectors, which sum attention over the entire input modality and read a single response token, are weaker special cases; we show that summing only within the claimed region and aggregating across all prediction tokens recovers a stronger grounding signal. The same recipe applies almost trivially to other modalities and tasks: object detection in images and temporal localization in video and audio. Across multiple MLLM families and three modalities, MTLA improves hallucination AUROC by +7 to +38 over the best prior training-free baseline. Used as a confidence score for re-ranking, it nearly doubles the zero-shot COCO detection AP of an open-source 8B generalist (from 20.4 to 37.0), narrowing the gap to supervised detectors without any task-specific training.