To Trust Or Not To Trust Your Vision-Language Model's Prediction

📄 arXiv: 2505.23745v2 📥 PDF

作者: Hao Dong, Moru Liu, Jian Liang, Eleni Chatzi, Olga Fink

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-05-29 (更新: 2025-09-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TrustVLM，无需训练即可提升视觉-语言模型预测的可信度

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 可信度评估 错误分类检测 图像嵌入空间 无需训练

📋 核心要点

  1. 视觉-语言模型易受错误分类影响，在安全攸关领域中可能导致严重后果。
  2. TrustVLM利用图像嵌入空间中概念的清晰表示，提出一种新颖的置信度评分函数。
  3. TrustVLM在17个数据集上取得了显著的性能提升，无需重新训练即可提高模型可靠性。

📝 摘要（中文）

视觉-语言模型(VLM)在对齐视觉和文本模态方面表现出强大的能力，从而在多模态理解和生成中实现了广泛的应用。虽然它们在零样本和迁移学习场景中表现出色，但VLM仍然容易出现错误分类，经常产生自信但错误的预测。这种局限性在安全关键领域构成了重大风险，在这些领域中，错误的预测可能导致严重的后果。在这项工作中，我们介绍TrustVLM，这是一个无需训练的框架，旨在解决估计VLM预测何时可信的关键挑战。受到VLM中观察到的模态差距以及某些概念在图像嵌入空间中更清晰地表示的洞察的启发，我们提出了一种新颖的置信度评分函数，该函数利用该空间来改进错误分类检测。我们通过17个不同的数据集，采用4种架构和2个VLM，严格评估了我们的方法，并展示了最先进的性能，与现有基线相比，AURC提高了高达51.87%，AUROC提高了9.14%，FPR95提高了32.42%。通过提高模型的可靠性而无需重新训练，TrustVLM为VLM在实际应用中更安全的部署铺平了道路。代码可在https://github.com/EPFL-IMOS/TrustVLM获得。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型(VLM)在实际应用中，尤其是在安全关键领域中，容易产生自信但错误的预测的问题。现有方法缺乏有效的机制来判断VLM预测的可信度，导致在错误预测的情况下无法采取适当的措施。

核心思路：论文的核心思路是利用VLM中存在的模态差距，即某些概念在图像嵌入空间中比在文本嵌入空间中更清晰地表示。通过分析图像嵌入空间中的特征，可以更准确地评估VLM预测的置信度，从而检测出潜在的错误分类。

技术框架：TrustVLM是一个无需训练的框架，其主要流程包括：1) 获取图像的嵌入表示；2) 基于图像嵌入空间中的特征，计算置信度分数；3) 根据置信度分数判断VLM的预测是否可信。该框架不依赖于特定的VLM架构，可以与多种VLM模型结合使用。

关键创新：TrustVLM的关键创新在于提出了一种新颖的置信度评分函数，该函数充分利用了图像嵌入空间中的信息。与现有方法相比，TrustVLM不需要额外的训练数据或模型微调，即可显著提高错误分类检测的性能。

关键设计：论文中置信度评分函数的具体形式未知，但其核心思想是基于图像嵌入空间中特征的分布情况来评估预测的可靠性。具体的技术细节，例如使用的距离度量、特征选择方法等，需要在代码中进一步分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TrustVLM在17个不同的数据集上进行了广泛的评估，并与现有基线方法进行了比较。实验结果表明，TrustVLM在AURC、AUROC和FPR95等指标上均取得了显著的提升，分别高达51.87%、9.14%和32.42%。这些结果表明，TrustVLM能够有效地提高VLM预测的可信度，且无需额外的训练。

🎯 应用场景

TrustVLM可应用于各种需要高可靠性的视觉-语言模型应用场景，例如自动驾驶、医疗诊断、工业检测等。通过提高模型预测的可信度，可以减少错误决策带来的风险，从而提升系统的整体安全性。该研究为VLM在安全关键领域的部署提供了有价值的参考。

📄 摘要（原文）

Vision-Language Models (VLMs) have demonstrated strong capabilities in aligning visual and textual modalities, enabling a wide range of applications in multimodal understanding and generation. While they excel in zero-shot and transfer learning scenarios, VLMs remain susceptible to misclassification, often yielding confident yet incorrect predictions. This limitation poses a significant risk in safety-critical domains, where erroneous predictions can lead to severe consequences. In this work, we introduce TrustVLM, a training-free framework designed to address the critical challenge of estimating when VLM's predictions can be trusted. Motivated by the observed modality gap in VLMs and the insight that certain concepts are more distinctly represented in the image embedding space, we propose a novel confidence-scoring function that leverages this space to improve misclassification detection. We rigorously evaluate our approach across 17 diverse datasets, employing 4 architectures and 2 VLMs, and demonstrate state-of-the-art performance, with improvements of up to 51.87% in AURC, 9.14% in AUROC, and 32.42% in FPR95 compared to existing baselines. By improving the reliability of the model without requiring retraining, TrustVLM paves the way for safer deployment of VLMs in real-world applications. The code is available at https://github.com/EPFL-IMOS/TrustVLM.