CAOS: Conformal Aggregation of One-Shot Predictors

📄 arXiv: 2601.05219v1 📥 PDF

作者: Maja Waldron

分类: stat.ML, cs.AI, cs.LG

发布日期: 2026-01-08

💡 一句话要点

提出CAOS框架，通过集成单样本预测器并结合一致性预测，实现快速自适应和不确定性量化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单样本学习 一致性预测 不确定性量化 模型聚合 留一法 快速自适应

📋 核心要点

  1. 单样本学习虽然高效，但缺乏对预测结果不确定性的有效量化，限制了其在安全敏感场景的应用。
  2. CAOS框架通过聚合多个单样本预测器，并采用留一法校准，充分利用少量标注数据，提升预测的准确性和可靠性。
  3. 实验表明，CAOS在保证覆盖率的同时，显著减小了预测集合的大小，优于传统的分裂一致性方法。

📝 摘要（中文）

单样本预测能够利用预训练的基础模型，仅用一个带标签的样本就能快速适应新任务，但缺乏可靠的不确定性量化。一致性预测虽然能提供有限样本的覆盖保证，但标准的分裂一致性方法在单样本场景中效率低下，因为它们需要数据分割并依赖于单个预测器。我们提出了单样本预测器的一致性聚合（CAOS），这是一个一致性框架，能够自适应地聚合多个单样本预测器，并使用留一法校准方案来充分利用稀缺的带标签数据。尽管违反了经典的可交换性假设，我们证明了CAOS使用基于单调性的论证实现了有效的边际覆盖。在单样本面部landmark定位和RAFT文本分类任务上的实验表明，CAOS产生了比分裂一致性基线更小的预测集，同时保持了可靠的覆盖率。

🔬 方法详解

问题定义：论文旨在解决单样本学习场景下，模型快速适应新任务的同时，缺乏有效的不确定性量化的问题。现有方法，如直接使用预训练模型进行微调，虽然简单，但无法提供可靠的置信度估计。传统的一致性预测方法，如split conformal prediction，在数据量极少的情况下表现不佳，因为数据分割会进一步减少可用数据，并且依赖于单个预测器容易过拟合。

核心思路：CAOS的核心思路是聚合多个单样本预测器，并使用一致性预测框架来提供可靠的覆盖保证。通过集成多个预测器，可以减少单个预测器的偏差，提高预测的鲁棒性。同时，采用留一法校准，充分利用每一个样本，避免了数据分割造成的浪费。

技术框架：CAOS框架主要包含以下几个阶段：1) 单样本预测器生成：利用不同的初始化、超参数或模型结构训练多个单样本预测器。2) 预测集合生成：对于每个测试样本，每个单样本预测器生成一个预测结果。3) 一致性校准：使用留一法，计算每个样本的conformity score，并根据预设的覆盖率目标，确定预测集合的大小。4) 预测集合聚合：将所有单样本预测器的预测集合进行聚合，得到最终的预测结果。

关键创新：CAOS的关键创新在于：1) 单样本预测器聚合：通过集成多个预测器，提高预测的稳定性和准确性。2) 留一法校准：充分利用稀缺的标注数据，避免数据分割造成的性能损失。3) 理论保证：证明了在违反经典可交换性假设的情况下，CAOS仍然能够实现有效的边际覆盖。

关键设计：CAOS的关键设计包括：1) 单样本预测器的选择：可以使用不同的预训练模型、不同的微调策略或不同的超参数设置来生成多个单样本预测器。2) conformity score的计算：可以使用不同的距离度量或损失函数来计算conformity score，例如，可以使用预测结果与真实标签之间的距离。3) 聚合策略：可以使用简单的投票法或更复杂的加权平均法来聚合多个预测器的预测结果。4) 覆盖率目标的选择：根据实际应用的需求，选择合适的覆盖率目标。

📊 实验亮点

实验结果表明，在单样本面部landmark定位和RAFT文本分类任务上，CAOS框架在保持可靠覆盖率的前提下，显著减小了预测集合的大小。例如，在面部landmark定位任务中，CAOS的预测集合大小比split conformal prediction基线小20%以上，表明CAOS能够更精确地定位目标。

🎯 应用场景

CAOS框架适用于需要快速适应新任务且对预测结果的可靠性有较高要求的场景，例如：医疗诊断、金融风控、自动驾驶等。在这些领域，获取大量标注数据成本高昂，而单样本学习能够快速部署模型。CAOS提供的不确定性量化能力，可以帮助决策者更好地理解模型的预测结果，并做出更明智的决策。

📄 摘要（原文）

One-shot prediction enables rapid adaptation of pretrained foundation models to new tasks using only one labeled example, but lacks principled uncertainty quantification. While conformal prediction provides finite-sample coverage guarantees, standard split conformal methods are inefficient in the one-shot setting due to data splitting and reliance on a single predictor. We propose Conformal Aggregation of One-Shot Predictors (CAOS), a conformal framework that adaptively aggregates multiple one-shot predictors and uses a leave-one-out calibration scheme to fully exploit scarce labeled data. Despite violating classical exchangeability assumptions, we prove that CAOS achieves valid marginal coverage using a monotonicity-based argument. Experiments on one-shot facial landmarking and RAFT text classification tasks show that CAOS produces substantially smaller prediction sets than split conformal baselines while maintaining reliable coverage.