Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models

📄 arXiv: 2502.07847v2 📥 PDF

作者: Behraj Khan, Rizwan Qureshi, Nouman Muhammad Durrani, Tahir Syed

分类: cs.CV, cs.LG

发布日期: 2025-02-11 (更新: 2025-04-08)

💡 一句话要点

提出CalShift方法，校准置信度并修正协变量偏移，提升视觉-语言模型在少样本分类中的泛化性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本学习 视觉-语言模型 协变量偏移 置信度校准 领域泛化 Fisher信息 置信度错位

📋 核心要点

  1. 少样本视觉分类任务中，视觉-语言模型面临目标数据不足导致的领域泛化问题，现有方法难以有效应对协变量偏移和置信度错位。
  2. CalShift方法通过结合Fisher信息惩罚和置信度错位惩罚，同时缓解协变量偏移和减少错误分类样本的过度自信，实现更好的模型校准。
  3. 实验结果表明，CalShift在多个基准测试中显著提高了模型校准和鲁棒性，预期校准误差降低高达5.82%，准确率提升3.5%。

📝 摘要（中文）

视觉-语言基础模型已成为少样本视觉分类任务的主流。然而，目标数据不足引发的领域泛化问题日益重要。数据稀缺导致采样偏差，并加剧模型对数据分布变化和偏移的敏感性。虽然在多个领域进行微调可以缓解此类问题，但它需要大量资源和多样的数据源。本文系统地分析了两个关键挑战：(1)预训练分布与欠定的目标分布之间的协变量偏移，以及(2)置信度错位，即模型对新数据的预测过于自信。为了同时应对这两个挑战，我们提出了一种统一的方法——置信度校准的协变量偏移修正(CalShift)，它结合了Fisher信息惩罚来缓解协变量偏移，以及置信度错位惩罚(CMP)来减少错误分类样本中的过度自信。在各种视觉和协变量偏移基准上的实验评估表明，CalShift显著提高了模型校准，预期校准误差(ECE)降低高达5.82%。此外，CalShift增强了鲁棒性，在受协变量偏移影响的具有挑战性的数据集上，准确率提高了3.5%。我们的结果表明，CalShift是构建用于实际应用的鲁棒且可靠的少样本视觉-语言系统的一种有前景的策略。

🔬 方法详解

问题定义：论文旨在解决少样本视觉分类任务中，视觉-语言模型由于预训练数据和目标数据分布差异导致的协变量偏移问题，以及模型对错误分类样本的过度自信问题。现有方法要么忽略了置信度校准，要么需要大量的领域数据进行微调，无法有效应对数据稀缺和分布偏移带来的挑战。

核心思路：论文的核心思路是通过引入Fisher信息惩罚来约束模型参数，使其对预训练数据分布更加敏感，从而缓解协变量偏移。同时，引入置信度错位惩罚，降低模型对错误分类样本的过度自信，提高模型预测的可靠性。这种双重惩罚机制旨在提高模型在目标领域的泛化能力和预测准确性。

技术框架：CalShift方法主要包含两个核心模块：Fisher信息惩罚模块和置信度错位惩罚模块。Fisher信息惩罚模块通过计算模型参数的Fisher信息矩阵，并将其作为正则化项添加到损失函数中，从而约束模型参数。置信度错位惩罚模块通过计算模型预测置信度和真实标签之间的差异，并将其作为惩罚项添加到损失函数中，从而降低模型对错误分类样本的过度自信。整体流程是：首先使用预训练的视觉-语言模型进行初始化，然后使用少量目标数据进行微调，并在微调过程中同时应用Fisher信息惩罚和置信度错位惩罚。

关键创新：CalShift的关键创新在于同时考虑了协变量偏移和置信度错位问题，并提出了一种统一的解决方案。与现有方法相比，CalShift不需要大量的领域数据进行微调，并且能够有效提高模型在目标领域的泛化能力和预测准确性。此外，置信度错位惩罚的设计能够有效降低模型对错误分类样本的过度自信，提高模型预测的可靠性。

关键设计：Fisher信息惩罚的关键在于Fisher信息矩阵的计算方式和正则化系数的选择。论文可能采用了经验Fisher信息矩阵的估计方法，并使用交叉验证等技术来选择合适的正则化系数。置信度错位惩罚的关键在于置信度度量方式和惩罚函数的选择。论文可能使用了softmax输出的概率值作为置信度度量，并使用hinge loss或类似的函数作为惩罚函数。具体的损失函数形式可能为：L = L_CE + λ_F * L_Fisher + λ_C * L_CMP，其中L_CE是交叉熵损失，L_Fisher是Fisher信息惩罚，L_CMP是置信度错位惩罚，λ_F和λ_C是正则化系数。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CalShift方法在多个视觉和协变量偏移基准测试中取得了显著的性能提升。例如，在某些数据集上，CalShift方法可以将预期校准误差(ECE)降低高达5.82%，同时将准确率提高3.5%。这些结果表明，CalShift方法能够有效提高模型校准和鲁棒性，使其更适用于实际应用。

🎯 应用场景

CalShift方法可应用于各种少样本视觉分类任务，例如医疗图像诊断、遥感图像分析、自动驾驶等领域。该方法能够有效提高模型在数据稀缺和分布偏移情况下的泛化能力和预测准确性，从而降低模型部署成本，提高应用系统的可靠性。未来，该方法可以进一步扩展到其他类型的视觉任务和多模态学习任务中。

📄 摘要（原文）

Since the establishment of vision-language foundation models as the new mainstay in low-shot vision classification tasks, the question of domain generalization arising from insufficient target data is assuming more importance. This scarcity challenge induces sampling bias and amplifies model sensitivity to variations and shifts in data distributions. While fine-tuning on multiple domains could mitigate such domain generalization issues, it is resource-intensive and demands diverse data sources. In this work, we systematically analyze two critical challenges: (1) covariate shift between the pre-training distribution and the underspecified target distribution, and (2) confidence misalignment, where predictions on novel data are overconfident. To address both challenges simultaneously, we introduce \textbf{Confidence-Calibrated Covariate Shift Correction (CalShift)} -- a unified approach that combines a Fisher information penalty to mitigate covariate shift and a Confidence Misalignment Penalty (CMP) to reduce overconfidence in misclassified examples. Experimental evaluations across various vision and covariate shift benchmarks demonstrate that CalShift significantly improves model calibration, achieving up to a 5.82\% reduction in Expected Calibration Error (ECE). Furthermore, CalShift enhances robustness, improving accuracy by 3.5\% on challenging datasets impacted by covariate shifts. Our results highlight CalShift as a promising strategy for building robust and reliable low-shot vision-language systems for real-world applications.