Consensus as Privileged Context for Label-Free Self-Distillation

📄 arXiv: 2607.13643v1 📥 PDF

作者: John Gkountouras, Josip Jukić, Ivan Titov

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-07-15

💡 一句话要点

提出CANON以解决无标签自蒸馏中的共识信息利用问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无标签学习 自蒸馏 共识信号 模型训练 推理准确性

📋 核心要点

  1. 现有方法在利用共识信号时存在局限，未能充分挖掘同意解的丰富信息。
  2. CANON通过将共识转化为密集的标记级监督，提升了无标签训练的效果。
  3. 实验表明，CANON在多个基准测试中显著提高了模型的推理准确性，表现优于现有无标签学习方法。

📝 摘要（中文）

在无标签的自蒸馏训练中，利用多个解的共识信号来提升推理准确性是一种有效的方法。现有方法通常将共识信息限制为过滤器、答案偏好或强化学习的标量奖励，未能充分利用同意解所包含的信息。本文提出了CANON（共识锚定自蒸馏），一种无标签训练方法，将共识转化为密集的标记级监督。CANON通过对每个无标签提示采样多个解，提取多数答案，并在达到该答案的解上对冻结模型快照进行条件化，从而实现共识锚定的教师对模型进行逐token的监督。实验结果表明，CANON在数学和科学推理基准上提高了12个百分点，超越了无标签强化学习，并在计算资源上仅为其七分之一，接近于使用黄金解的教师模型。

🔬 方法详解

问题定义：本文旨在解决现有无标签自蒸馏方法对共识信息利用不足的问题。现有方法通常只将共识作为过滤器或奖励，未能充分利用同意解的丰富信息。

核心思路：CANON的核心思路是将共识信号转化为密集的标记级监督。通过对多个解进行采样，提取多数答案，并在此基础上对模型进行条件化，从而实现更有效的自蒸馏。

技术框架：CANON的整体架构包括多个模块：首先对每个无标签提示进行多解采样，然后提取多数答案，接着对冻结模型快照进行条件化，最后通过共识锚定的教师对模型进行逐token的监督。

关键创新：CANON的主要创新在于将共识信息转化为密集的标记级监督，这与现有方法的简单过滤或奖励机制有本质区别，能够更全面地利用同意解的信息。

关键设计：在设计上，CANON采用了冻结模型快照作为教师模型，并在每个token上进行监督，确保了训练过程的稳定性和有效性。具体的损失函数和参数设置在实验中进行了优化，以最大化模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CANON在数学和科学推理基准上提高了12个百分点，超越了无标签强化学习方法6个百分点，同时计算资源消耗仅为其七分之一，接近于使用黄金解的教师模型，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器学习和人工智能等领域，尤其是在需要无标签数据进行训练的场景中。CANON方法的提出为无标签学习提供了一种新的思路，未来可能推动更多基于共识的训练方法的发展，提升模型的推理能力和应用效果。

📄 摘要（原文）

Sampling multiple solutions and returning the majority answer is among the most reliable ways to improve the reasoning accuracy of large language models without labels, and a growing family of methods converts this consensus signal into training supervision. However, existing approaches use consensus only in restricted forms: as a filter that selects solutions for fine-tuning, as a preference between answers, or as a scalar reward for reinforcement learning, discarding most of the information that the agreeing solutions contain. We present CANON (Consensus-ANchored self-distillatiON), a label-free training method that turns consensus into dense, token-level supervision. For each unlabeled prompt, CANON samples multiple solutions, extracts the majority answer, and conditions a frozen snapshot of the model on a solution that reaches it; this consensus-anchored teacher then supervises the model on its own rollouts at every token. Experiments on mathematical and scientific reasoning benchmarks show that CANON improves pass@1 by up to 12 points, outperforming label-free reinforcement learning by 6 points at a seventh of its compute and approaching a teacher conditioned on gold solutions; trained on pooled unlabeled data, it transfers to held-out benchmarks, matching training methods that use gold labels. Analysis suggests that the improvements are not pure distribution sharpening: after training, the model solves problems it previously never solved in 32 attempts, and its majority vote itself becomes more accurate.