PROVE: Probabilistic Visual Grounding via Patch-Level Evidence for Vision-Language Models

📄 arXiv: 2610.32440v1 📥 PDF

作者: Mayank Nautiyal, Tianru Zhang, Li Ju, Ekta Vats, Prashant Singh

分类: cs.CV, cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出PROVE以解决视觉语言模型中的不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 视觉语言模型 不确定性建模 补丁级证据 CLIP 深度学习 多模态融合

📋 核心要点

  1. 现有视觉语言模型如CLIP生成的定位图缺乏可靠性指示，无法判断指代对象是否存在。
  2. PROVE通过将补丁特征映射到Beta分布，采用补丁级证据来处理视觉定位问题，增强了不确定性建模。
  3. 在指代表达基准上，PROVE的定位性能与最先进方法相当，并且能够有效检测缺失指代对象。

📝 摘要（中文）

视觉定位在使用CLIP等视觉语言模型时，通常生成单一的确定性相关性图，无法指示定位的可靠性或指代对象是否存在。我们提出了PROVE（基于补丁级证据的概率视觉定位），这是一个后处理证据适配器，能够将冻结的CLIP补丁特征映射到每个补丁的Beta分布，而无需修改主干网络。PROVE将定位视为每个补丁的成员资格，每个补丁积累正负证据以判断其是否属于指代对象。通过在软补丁覆盖目标上训练PROVE，并定义一个先验拉动目标，使缺失指代的示例接近无信息先验，从而使空缺作为缺失信号。在推理过程中，单次前向传播即可获得后验均值定位图、空间空缺图和图像级缺失分数。我们在指代表达基准上评估PROVE，其定位性能与最先进的CLIP定位方法相当，且不确定性能够跟踪定位误差并支持选择性预测。

🔬 方法详解

问题定义：本论文旨在解决视觉语言模型在处理图像与查询对时，缺乏可靠性指示的问题。现有方法通常生成单一的确定性相关性图，无法有效判断指代对象的存在与否。

核心思路：PROVE通过将每个补丁的特征映射到Beta分布，采用补丁级证据来判断其是否属于指代对象，从而实现更为灵活的定位。该设计允许查询匹配零个、一个或多个补丁，增强了模型的表达能力。

技术框架：PROVE的整体架构包括补丁特征提取、证据累积、先验拉动和推理四个主要模块。在训练阶段，模型通过证据目标和先验拉动目标进行优化；在推理阶段，模型通过单次前向传播生成后验均值定位图和空缺图。

关键创新：PROVE的主要创新在于其补丁级证据建模，提供了一种简单的后处理机制，使得冻结的视觉语言模型能够进行概率验证。这一方法与传统的确定性定位方法本质上不同，能够有效处理不确定性。

关键设计：在训练中，使用了基于补丁的证据目标和先验拉动目标，确保缺失指代的示例接近无信息先验。此外，模型的损失函数设计考虑了补丁的正负证据累积，增强了模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在指代表达基准上，PROVE的定位性能与最先进的CLIP方法相当，且其不确定性建模能够有效跟踪定位误差，支持选择性预测。实验结果表明，PROVE在缺失指代对象的检测上表现优异，提供了更为可靠的视觉定位能力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人视觉等，能够提升系统在复杂场景下的理解和决策能力。通过引入不确定性建模，未来的视觉语言系统将更具鲁棒性和灵活性，能够更好地处理模糊或缺失的信息。

📄 摘要（原文）

Visual grounding with vision-language models such as CLIP typically produces a single deterministic relevance map for an image-query pair, without indicating whether the localisation is reliable or whether the referent is present at all. We introduce \textbf{PROVE} (\textbf{Pro}babilistic \textbf{V}isual Grounding via Patch-Level \textbf{E}vidence), a post-hoc evidential adapter that maps frozen CLIP patch features to per-patch Beta distributions without modifying the backbone. PROVE casts grounding as per-patch membership: each patch accumulates positive and negative evidence for whether it belongs to the referent, so a query may match zero, one, or many patches. We train PROVE with an evidential objective on soft patch-coverage targets, and define a prior-pull objective that keeps absent-referent examples near an uninformative prior, so that vacuity serves as an absence signal without a dedicated presence classifier. During inference, a single forward pass yields, in closed form, a posterior-mean grounding map, a spatial vacuity map, and an image-level absence score. We evaluate PROVE on referring-expression benchmarks: it is competitive in localisation with state-of-the-art CLIP grounding methods, its uncertainty tracks localisation error and supports selective prediction under abstention, and its image-level score detects when the referent is absent altogether. Our evidential patch-membership modelling offers a simple, drop-in mechanism for probabilistic verification in frozen vision-language grounding systems.