What Do Hallucinations Reveal About Multimodal Reasoning? Diagnosing Visual Grounding Failures via Contrastive Decoding Probes
作者: Zhipeng Zhao, Wenxu Wang, Peishun Liu, Ruichun Tang
分类: cs.CV, cs.MM
发布日期: 2026-09-15
备注: EMNLP 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出SAFE框架以诊断多模态推理中的视觉幻觉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视觉幻觉 对比解码 视觉基础 生成模型 科学理解 模型行为分析
📋 核心要点
- 现有多模态模型在处理视觉信息时常出现幻觉现象，导致生成内容缺乏视觉基础，影响模型的可靠性。
- 本文提出SAFE框架，通过对比视觉基础和视觉消融的生成路径，提供了一种无训练的解码方法来评估模型的视觉依赖性。
- 在MMHalBench上，SAFE的表现显著优于其他基线，验证了其在检测视觉幻觉和提升生成质量方面的有效性。
📝 摘要（中文）
随着强大的多模态模型的广泛应用，科学研究需要超越基准分数的新方法。本文探讨能否将大型视觉-语言模型（LVLMs）作为实验工具来研究其失败动态。我们聚焦于视觉幻觉，提出了一种无训练的解码框架SAFE，通过对比视觉基础和视觉消融的生成路径，生成标记级对比基础分数，以识别模型何时偏向语言先验而非视觉证据。我们的分析得出三个经验观察：视觉依赖性在生成过程中衰减，幻觉在时间上聚集，早期干预可以减少聚集而不显著降低流畅性。在MMHalBench上，SAFE显著优于所有对比基线；其他结果则较为复杂。我们认为设计对比探针体现了更广泛的使命：利用模型作为科学理解的工具。
🔬 方法详解
问题定义：本文旨在解决多模态模型在生成过程中出现的视觉幻觉问题，现有方法往往依赖于基准测试，缺乏对模型行为的深入理解。
核心思路：SAFE框架通过对比视觉基础和视觉消融的生成路径，生成对比基础分数，从而识别模型在生成时对视觉证据的依赖程度。
技术框架：SAFE的整体架构包括两个主要模块：视觉基础生成路径和视觉消融生成路径，通过对比这两条路径的生成结果，计算出对比基础分数。
关键创新：SAFE的主要创新在于无训练的解码框架，通过对比生成路径来评估视觉依赖性，与现有方法相比，提供了更为细致的模型行为分析。
关键设计：在设计中，SAFE使用了标记级对比基础分数作为检测视觉幻觉的信号，并引入了解码时的惩罚机制，以优化生成质量。具体参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
在MMHalBench上，SAFE框架的表现显著优于所有对比基线，验证了其在检测视觉幻觉方面的有效性。具体而言，SAFE在生成质量和视觉依赖性评估上均取得了显著提升，展示了其作为科学理解工具的潜力。
🎯 应用场景
该研究的潜在应用领域包括多模态生成任务、视觉问答系统和人机交互等。通过提高模型对视觉信息的依赖性，SAFE框架有助于提升生成内容的准确性和可靠性，未来可能在智能助手和自动内容生成等领域产生重要影响。
📄 摘要（原文）
When strong multimodal models are widely available, progress requires new scientific methodologies beyond benchmark scores---using models as instruments for understanding behavior. We address this by asking: can we use large vision-language models (LVLMs) as experimental instruments for studying their own failure dynamics? Focusing on visual hallucination, we introduce SAFE, a training-free decoding framework that contrasts visually-grounded and vision-ablated generation paths to produce a token-level contrastive grounding score that identifies when the model favors linguistic priors over visual evidence. This signal serves dual roles: as a practical proxy for detecting visually-ungrounded tokens, and as the basis for decoding-time penalties. Our analysis yields three empirical observations: visual dependency decays over generation, hallucinations co-occur in temporal clusters, and early intervention reduces clustering without substantially degrading fluency. On MMHalBench, SAFE substantially outperforms all compared baselines; results elsewhere are more mixed. We argue that designing contrastive probes exemplifies a broader mission: using models as instruments for scientific understanding. Code: https://github.com/zhaozhipeng1997/SAFE_public.