Leveraging Visual Signals for Robust Token-Level Uncertainty in Vision-Language Generation

📄 arXiv: 2605.27136v1 📥 PDF

作者: Joseph Hoche, David Brellmann, Gianni Franchi

分类: cs.CV

发布日期: 2026-05-26

💡 一句话要点

提出VIG-TUQ框架，利用视觉信号提升视觉-语言生成中token级别不确定性估计的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 不确定性量化 视觉 grounding token级别不确定性 视觉信息 多模态学习 可信AI

📋 核心要点

  1. 现有LVLM的不确定性量化方法主要集中在语言模态，忽略了视觉信息对不确定性的影响。
  2. VIG-TUQ框架通过视觉 grounding 分数加权token级别的语言不确定性，显式地利用视觉信息进行不确定性估计。
  3. 实验表明，VIG-TUQ在多种数据集和LVLM架构上，通常优于现有的token级别不确定性方法。

📝 摘要（中文）

不确定性量化(UQ)仍然是大型视觉语言模型(LVLM)中可靠预测和实际部署的关键挑战。然而，现有的大多数方法都是从LLM文献中改编而来，主要关注语言模态，而视觉信息对LVLM不确定性的贡献在很大程度上未被探索。在本文中，我们研究了LVLM如何处理视觉信息，以及这个过程是否可以用来改进不确定性估计。通过分析生成过程中视觉特征整合后的隐藏表示，我们观察到高置信度的预测比不确定的预测更依赖于视觉内容。基于这一洞察，我们提出了Visual-Grounded Token UQ (VIG-TUQ)，这是一个无需训练的框架，通过用视觉 grounding 分数加权 token 级别的语言不确定性，从而显式地将视觉 grounding 纳入不确定性估计中。我们在多个数据集和不同的LVLM架构（包括early-fusion、late-fusion和native-fusion模型）上评估了VIG-TUQ。结果表明，我们的方法通常优于现有的 token 级别不确定性方法。代码和数据将在接收后提供。

🔬 方法详解

问题定义：现有的大型视觉语言模型（LVLM）在不确定性量化方面存在不足，尤其是在token级别的不确定性估计上。现有方法主要借鉴自LLM领域，侧重于语言模态，忽略了视觉信息在LVLM不确定性中的作用。这导致模型在处理视觉信息时，无法准确评估预测结果的置信度，影响了模型的可靠性和实际应用。

核心思路：论文的核心思路是利用视觉信息来提升LVLM中token级别不确定性估计的鲁棒性。作者观察到，高置信度的预测更依赖于视觉内容。因此，通过将视觉 grounding 信息融入到token级别的不确定性估计中，可以更准确地评估模型预测的置信度。

技术框架：VIG-TUQ (Visual-Grounded Token UQ) 框架是一个无需训练的框架，主要包含以下步骤：1) 分析LVLM在生成过程中视觉特征整合后的隐藏表示；2) 计算每个token的视觉 grounding 分数，该分数反映了token对视觉信息的依赖程度；3) 使用视觉 grounding 分数加权token级别的语言不确定性，得到最终的token级别不确定性估计。

关键创新：VIG-TUQ的关键创新在于显式地将视觉 grounding 信息融入到token级别的不确定性估计中。与现有方法不同，VIG-TUQ充分利用了视觉信息，从而更准确地评估模型预测的置信度。这种方法无需额外的训练，易于集成到现有的LVLM中。

关键设计：VIG-TUQ框架的关键设计在于视觉 grounding 分数的计算方法。具体来说，作者分析了LVLM在生成过程中视觉特征整合后的隐藏表示，并基于这些隐藏表示计算每个token的视觉 grounding 分数。视觉 grounding 分数越高，表示该token对视觉信息的依赖程度越高，其不确定性应该相应降低。具体的计算公式和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VIG-TUQ在多个数据集和不同的LVLM架构（包括early-fusion、late-fusion和native-fusion模型）上，通常优于现有的token级别不确定性方法。这意味着VIG-TUQ能够更准确地估计token级别的不确定性，从而提升LVLM的可靠性。具体的性能提升数据将在论文中详细展示。

🎯 应用场景

该研究成果可应用于需要高可靠性的视觉语言生成任务中，例如图像描述、视觉问答、机器人导航等。通过提高模型不确定性估计的准确性，可以提升模型在实际应用中的鲁棒性和安全性，减少错误预测带来的风险。此外，该方法还可以用于模型调试和解释性分析，帮助研究人员更好地理解LVLM的工作机制。

📄 摘要（原文）

Uncertainty quantification (UQ) remains a critical challenge in Large Vision Language Models (LVLMs) for reliable predictions and real-world deployment. However, most existing methods are adapted from the LLM literature and primarily focus on the language modality, leaving the contribution of visual information to LVLM uncertainty largely underexplored. In this paper, we investigate how LVLMs process visual information and whether this process can be used to improve uncertainty estimation. By analyzing hidden representations after the integration of visual features during the generation process, we observe that high-confidence predictions rely more heavily on visual content than uncertain ones. Building on this insight, we propose Visual-Grounded Token UQ (VIG-TUQ), a training-free framework that explicitly incorporates visual grounding into uncertainty estimation by weighting token-level language uncertainty with visual grounding scores. We evaluate VIG-TUQ on multiple datasets and across diverse LVLM architectures, including early-fusion, late-fusion, and native-fusion models. Results indicate that our method often improves upon existing token-level uncertainty approaches. Code and data will be made available upon acceptance.