Conformal Prediction for Zero-Shot Models
作者: Julio Silva-Rodríguez, Ismail Ben Ayed, Jose Dolz
分类: cs.CV
发布日期: 2025-05-30
备注: CVPR 2025. Code: https://github.com/jusiro/CLIP-Conformal
💡 一句话要点
提出Conf-OT以解决零样本模型的不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 零样本学习 保形预测 最优传输 视觉-语言模型 域适应 不确定性评估 计算机视觉 机器学习
📋 核心要点
- 现有方法在处理零样本模型时，未能有效解决其不确定性和可靠性问题，尤其是在域漂移的情况下。
- 本文提出了Conf-OT，通过在校准和查询集上进行传导学习，解决了预训练与适应之间的域差距。
- 实验结果表明，Conf-OT在15个数据集上相较于基线方法，集效率提升高达20%，且速度快15倍。
📝 摘要（中文）
大规模预训练的视觉-语言模型在下游任务中展现出前所未有的适应性和泛化能力。然而，其可靠性和不确定性仍然被忽视。本文探讨了CLIP模型在分裂保形预测范式下的能力，该方法基于小规模标记的校准集为黑箱模型提供理论保证。与现有文献中的保形预测器不同，基础模型在一个不可访问的源域上进行一次性预训练，这种域漂移对保形集的效率产生负面影响。为缓解这一问题，提出了Conf-OT，这是一种在校准和查询集上进行传导学习的设置，解决了最优传输问题，弥合了预训练与适应之间的域差距，同时保持覆盖保证。我们在15个数据集和三种非保形评分上全面探索了这一策略，Conf-OT在集效率上提供了高达20%的相对提升，同时比流行的传导方法快15倍。
🔬 方法详解
问题定义：本文旨在解决零样本模型在域漂移情况下的不确定性和可靠性问题。现有的保形预测方法在处理预训练模型时效率低下，且未能充分考虑源域与目标域之间的差异。
核心思路：提出的Conf-OT方法通过最优传输技术在校准集和查询集之间进行传导学习，旨在弥合预训练与适应阶段的域差距，从而提高保形集的效率和可靠性。
技术框架：该方法的整体架构包括数据预处理、最优传输计算和保形集生成三个主要模块。首先，通过校准集和查询集的结合，进行数据的整合与处理；其次，利用最优传输算法计算源域与目标域之间的映射；最后，生成高效的保形集以进行下游任务的预测。
关键创新：Conf-OT的主要创新在于其在不需要额外数据划分的情况下，仍能保持覆盖保证，并有效解决了域漂移带来的挑战。这一方法与传统的保形预测器相比，具有更高的效率和适应性。
关键设计：在技术细节上，Conf-OT采用了特定的损失函数来优化最优传输过程，并在网络结构上进行了调整，以适应不同数据集的特性。
📊 实验亮点
实验结果显示，Conf-OT在15个不同数据集上相较于传统方法，集效率提升高达20%。此外，该方法的计算速度比流行的传导方法快15倍，展现出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理以及跨模态学习等。通过提高零样本模型的可靠性和不确定性评估能力，Conf-OT可在医疗影像分析、自动驾驶等高风险领域中发挥重要作用，未来可能推动更安全的AI系统的开发。
📄 摘要（原文）
Vision-language models pre-trained at large scale have shown unprecedented adaptability and generalization to downstream tasks. Although its discriminative potential has been widely explored, its reliability and uncertainty are still overlooked. In this work, we investigate the capabilities of CLIP models under the split conformal prediction paradigm, which provides theoretical guarantees to black-box models based on a small, labeled calibration set. In contrast to the main body of literature on conformal predictors in vision classifiers, foundation models exhibit a particular characteristic: they are pre-trained on a one-time basis on an inaccessible source domain, different from the transferred task. This domain drift negatively affects the efficiency of the conformal sets and poses additional challenges. To alleviate this issue, we propose Conf-OT, a transfer learning setting that operates transductive over the combined calibration and query sets. Solving an optimal transport problem, the proposed method bridges the domain gap between pre-training and adaptation without requiring additional data splits but still maintaining coverage guarantees. We comprehensively explore this conformal prediction strategy on a broad span of 15 datasets and three non-conformity scores. Conf-OT provides consistent relative improvements of up to 20% on set efficiency while being 15 times faster than popular transductive approaches.