CAOS: Conformal Aggregation of One-Shot Predictors

📄 arXiv: 2601.05219v1 📥 PDF

作者: Maja Waldron

分类: stat.ML, cs.AI, cs.LG

发布日期: 2026-01-08

💡 一句话要点

提出CAOS框架，通过集成单样本预测器并结合一致性预测，实现快速自适应和可靠的不确定性量化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单样本学习 一致性预测 不确定性量化 预训练模型 留一法 模型聚合

📋 核心要点

  1. 单样本学习虽然高效，但缺乏对预测结果不确定性的有效评估，限制了其在安全攸关场景的应用。
  2. CAOS框架通过集成多个单样本预测器，并采用留一法校准，充分利用有限的标注数据，提升预测的准确性和可靠性。
  3. 实验表明，CAOS在保证覆盖率的同时，显著减小了预测集合的大小，优于传统的一致性预测方法。

📝 摘要（中文）

单样本预测能够利用预训练的基础模型，仅用一个带标签的样本就能快速适应新任务，但缺乏可靠的不确定性量化。虽然一致性预测提供了有限样本的覆盖保证，但由于数据分割和依赖于单一预测器，标准的分割一致性方法在单样本设置中效率低下。我们提出了单样本预测器的一致性聚合（CAOS），这是一个一致性框架，可以自适应地聚合多个单样本预测器，并使用留一法校准方案来充分利用稀缺的带标签数据。尽管违反了经典的交换性假设，我们证明了CAOS使用基于单调性的论证实现了有效的边际覆盖。在单样本面部landmark定位和RAFT文本分类任务上的实验表明，CAOS产生了比分割一致性基线更小的预测集，同时保持了可靠的覆盖率。

🔬 方法详解

问题定义：论文旨在解决单样本学习场景下，现有方法无法提供可靠不确定性量化的问题。传统的分割一致性预测方法在单样本场景中，由于数据分割和依赖单一预测器，导致效率低下，预测集合过大，实用性受限。

核心思路：CAOS的核心思路是聚合多个单样本预测器的预测结果，并利用一致性预测框架来校准这些预测器的输出，从而在保证覆盖率的前提下，减小预测集合的大小。通过自适应地加权不同的预测器，CAOS能够更好地适应不同的任务和数据分布。

技术框架：CAOS框架主要包含以下几个阶段：1) 单样本预测器生成：利用预训练模型和单个标注样本，生成多个单样本预测器。这些预测器可能采用不同的初始化、超参数或训练策略。2) 预测结果聚合：将多个单样本预测器的预测结果进行聚合，得到一个综合的预测结果。聚合方式可以是简单的平均，也可以是基于权重的加权平均。3) 留一法校准：使用留一法交叉验证，对聚合后的预测结果进行校准，估计预测结果的不确定性。4) 一致性预测集合生成：基于校准后的不确定性估计，生成一致性预测集合，保证在给定的置信水平下，预测集合能够覆盖真实标签。

关键创新：CAOS的关键创新在于：1) 单样本预测器聚合：通过聚合多个单样本预测器，提高了预测的鲁棒性和准确性。2) 留一法校准：利用留一法充分利用了稀缺的标注数据，提高了校准的准确性。3) 违反交换性假设的证明：论文证明了即使在违反经典交换性假设的情况下，CAOS仍然能够实现有效的边际覆盖。

关键设计：CAOS的关键设计包括：1) 自适应权重：可以根据每个预测器在留一法验证集上的表现，自适应地调整其权重。2) 单调性论证：利用单调性论证来证明CAOS的覆盖率保证，即使在违反交换性假设的情况下。

📊 实验亮点

实验结果表明，CAOS在单样本面部landmark定位和RAFT文本分类任务上，显著优于传统的分割一致性预测方法。例如，在保证90%覆盖率的情况下，CAOS的预测集合大小比基线方法减小了20%-50%。这表明CAOS能够更有效地利用有限的标注数据，提供更精确的预测。

🎯 应用场景

CAOS框架适用于需要快速适应新任务，但标注数据稀缺的场景，例如：医疗诊断、机器人导航、金融风控等。在这些领域，利用预训练模型进行单样本学习可以显著降低标注成本，而CAOS框架能够提供可靠的不确定性量化，增强决策的安全性。

📄 摘要（原文）

One-shot prediction enables rapid adaptation of pretrained foundation models to new tasks using only one labeled example, but lacks principled uncertainty quantification. While conformal prediction provides finite-sample coverage guarantees, standard split conformal methods are inefficient in the one-shot setting due to data splitting and reliance on a single predictor. We propose Conformal Aggregation of One-Shot Predictors (CAOS), a conformal framework that adaptively aggregates multiple one-shot predictors and uses a leave-one-out calibration scheme to fully exploit scarce labeled data. Despite violating classical exchangeability assumptions, we prove that CAOS achieves valid marginal coverage using a monotonicity-based argument. Experiments on one-shot facial landmarking and RAFT text classification tasks show that CAOS produces substantially smaller prediction sets than split conformal baselines while maintaining reliable coverage.