Efficient Credal Prediction through Decalibration
作者: Paul Hofman, Timo Löhr, Maximilian Muschalik, Yusuf Sale, Eyke Hüllermeier
分类: cs.LG, stat.ML
发布日期: 2026-03-09
💡 一句话要点
提出基于解校准的高效可信预测方法，适用于复杂模型的不确定性量化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Credal预测 不确定性量化 解校准 相对似然 分布外检测
📋 核心要点
- 现有credal预测方法计算复杂度高，难以应用于基础模型和多模态系统等复杂模型。
- 论文提出一种基于相对似然和解校准的高效credal预测方法，为每个类别预测一个概率区间。
- 实验表明，该方法在覆盖率-效率评估、分布外检测和上下文学习等任务中表现出色，并成功应用于TabPFN和CLIP等模型。
📝 摘要（中文）
在安全攸关的应用中，可靠的不确定性表示至关重要。Credal集（即概率分布的凸集）最近被提出作为表示认知不确定性的合适方法。然而，与其他认知不确定性方法一样，训练credal预测器在计算上很复杂，通常涉及（重新）训练模型集成。由此产生的计算复杂度阻碍了它们在诸如基础模型和多模态系统等复杂模型中的应用。为了解决这个问题，我们提出了一种基于相对似然概念并受到概率分类器校准技术启发的credal预测高效方法。对于每个类别标签，我们的方法以区间的形式预测一系列合理的概率。为了生成这些区间的上下界，我们提出了一种称为解校准的技术。大量的实验表明，我们的方法在各种任务中产生了具有强大性能的credal集，包括覆盖率-效率评估、分布外检测和上下文学习。值得注意的是，我们展示了在TabPFN和CLIP等模型上的credal预测——这些架构以前无法构建credal集。
🔬 方法详解
问题定义：论文旨在解决复杂机器学习模型（如基础模型和多模态系统）中，由于计算复杂度过高而难以进行credal预测的问题。现有的credal预测方法通常需要训练或重新训练模型集成，这使得它们在计算资源有限或模型本身非常庞大的情况下变得不可行。因此，如何高效地构建credal集，量化模型预测的不确定性，是本研究要解决的核心问题。
核心思路：论文的核心思路是借鉴概率分类器校准的思想，通过“解校准”的方式，将模型的原始概率输出转化为一个概率区间，从而构建credal集。这种方法避免了训练模型集成，大大降低了计算复杂度。核心在于利用相对似然的概念，找到一个合理的概率范围，既能覆盖真实概率，又能保持较高的效率。
技术框架：该方法主要包含以下几个阶段：1. 对于每个类别标签，获取模型预测的原始概率值。2. 使用解校准技术，基于相对似然，为每个类别生成一个概率区间，该区间表示该类别概率的上下界。3. 将这些概率区间组合成credal集，用于后续的不确定性量化和决策。整个流程简单高效，易于实现。
关键创新：该方法最重要的创新点在于提出了“解校准”的概念，并将其应用于credal预测。与传统的credal预测方法相比，该方法无需训练模型集成，大大降低了计算复杂度，使得credal预测能够应用于更复杂的模型。此外，该方法基于相对似然，能够更准确地估计概率的不确定性。
关键设计：解校准的具体实现细节未知，但可以推测其关键在于如何确定概率区间的上下界。这可能涉及到一些参数设置，例如相对似然的阈值，以及一些优化算法，用于找到最优的概率区间。损失函数的设计也至关重要，需要平衡覆盖率和效率，确保credal集既能覆盖真实概率，又能保持较小的体积。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在各种任务中都取得了良好的性能，包括覆盖率-效率评估、分布外检测和上下文学习。特别值得一提的是，该方法成功应用于TabPFN和CLIP等模型，而这些模型以前无法构建credal集。这证明了该方法的高效性和通用性。
🎯 应用场景
该研究成果可广泛应用于安全攸关的机器学习应用中，例如自动驾驶、医疗诊断、金融风控等。通过提供可靠的不确定性量化，可以帮助决策者更好地理解模型的预测结果，并做出更明智的决策。此外，该方法还可以用于检测分布外数据，提高模型的鲁棒性。未来，该方法有望成为复杂机器学习模型不确定性量化的标准方法。
📄 摘要（原文）
A reliable representation of uncertainty is essential for the application of modern machine learning methods in safety-critical settings. In this regard, the use of credal sets (i.e., convex sets of probability distributions) has recently been proposed as a suitable approach to representing epistemic uncertainty. However, as with other approaches to epistemic uncertainty, training credal predictors is computationally complex and usually involves (re-)training an ensemble of models. The resulting computational complexity prevents their adoption for complex models such as foundation models and multi-modal systems. To address this problem, we propose an efficient method for credal prediction that is grounded in the notion of relative likelihood and inspired by techniques for the calibration of probabilistic classifiers. For each class label, our method predicts a range of plausible probabilities in the form of an interval. To produce the lower and upper bounds of these intervals, we propose a technique that we refer to as decalibration. Extensive experiments show that our method yields credal sets with strong performance across diverse tasks, including coverage-efficiency evaluation, out-of-distribution detection, and in-context learning. Notably, we demonstrate credal prediction on models such as TabPFN and CLIP -- architectures for which the construction of credal sets was previously infeasible.