Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking

📄 arXiv: 2610.02887v1 📥 PDF

作者: Haoyang Luo, Linwei Tao, Jie Gui, Xinghao Chen, Chang Xu, Jianyuan Guo, Minjing Dong

分类: cs.CV, cs.AI

发布日期: 2026-10-02

备注: Accepted by NeurIPS 2026

💡 一句话要点

提出因果不变掩蔽方法以揭示多模态大语言模型的不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 不确定性量化 因果不变掩蔽 语义差异 期望嵌入漂移 模型局限性 深度学习

📋 核心要点

  1. 现有方法在检测由表面关联引起的不确定性时表现不佳，尤其在查询相关信号较弱的情况下。
  2. 论文提出因果不变掩蔽（CIM）方法，通过测量语义偏移来分解不确定性类型，进而实现全面的不确定性量化。
  3. 实验结果显示，所提方法在多个基准上实现了最先进的性能，EED的加速效果接近50%，且性能保持相当。

📝 摘要（中文）

多模态大语言模型（MLLMs）面临幻觉问题，迫切需要不确定性量化（UQ）以确保可靠部署。然而，现有方法在检测由表面关联引起的不确定性时表现不佳，尤其在查询相关信号较弱时。我们将这一问题归因于现有方法偏向于数据模糊引起的偶然不确定性，而忽视了源于模型局限性的认知不确定性。为此，我们提出了因果不变掩蔽（CIM），通过测量原始预测与基于因果聚焦视角的预测之间的语义偏移来分解不确定性类型。基于此框架，我们引入了语义差异作为UQ的核心指标，并提供理论证据表明其收敛于模型对非因果相关性的敏感性方差，从而捕捉MLLM的局限性。我们还提出了期望嵌入漂移（EED），作为一种快速几何代理指标，直接在超球嵌入空间中估计语义偏移。实验表明，我们的方法在多个基准上达到了最先进的性能，而EED的加速效果接近50%，且性能相当。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型（MLLMs）在不确定性量化（UQ）方面的不足，尤其是对由表面关联引起的不确定性检测能力较弱的问题。现有方法往往偏向于偶然不确定性，忽视了认知不确定性。

核心思路：论文提出因果不变掩蔽（CIM）作为核心方法，通过测量原始预测与基于因果视角的预测之间的语义偏移来有效分解不确定性类型。这种设计旨在更全面地捕捉模型的局限性。

技术框架：整体架构包括两个主要模块：因果不变掩蔽（CIM）用于测量语义偏移，语义差异作为UQ的核心指标。此外，期望嵌入漂移（EED）作为快速代理指标，直接在超球嵌入空间中进行估计。

关键创新：最重要的技术创新点在于引入了因果不变掩蔽（CIM）和语义差异指标，能够有效捕捉模型的认知不确定性，与现有方法相比，提供了更深入的理解和量化能力。

关键设计：在参数设置上，EED的设计考虑了几何特性，确保在超球嵌入空间中快速估计语义偏移。损失函数和网络结构的具体细节在实验中进行了优化，以提升性能和加速效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在多个基准测试中达到了最先进的性能，具体而言，EED的加速效果接近50%，同时保持了与基线方法相当的性能，展示了其在不确定性量化中的有效性和高效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态学习等，能够为模型的可靠性提供保障，尤其是在关键应用场景如医疗、自动驾驶等领域，提升模型在不确定性环境下的表现。未来，该方法有望推动更广泛的模型不确定性研究和应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) suffer from hallucinations, creating a critical need for Uncertainty Quantification (UQ) to ensure reliable deployment. However, existing approaches struggle to detect uncertainty caused by superficial associations, especially when the query-relevant signal is weak. We mainly attribute this issue to their bias toward aleatoric uncertainty arising from data ambiguity, overlooking epistemic uncertainty stemming from model limitations. To further decompose uncertainty types for a comprehensive UQ, we propose Causal-Invariant Masking (CIM), which measures the semantic shift between the original predictions and those conditioned on a causally-focused view. Based on this framework, we introduce Semantic Divergence as our core metric for UQ and provide theoretical evidence that it converges to the variance of model's sensitivity to non-causal correlations, establishing its ability to capture MLLM's limitation. To accelerate UQ in MLLMs, we further propose Expected Embedding Drift (EED), a fast geometric proxy metric that estimates semantic shift directly within the hyperspherical embedding space. Experiments show that our method achieves state-of-the-art performance on various benchmarks, while the proposed EED accelerates by nearly 50% with comparable performance.