One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation

📄 arXiv: 2610.30880v1 📥 PDF

作者: Khouloud Saadi, Di Wang

分类: cs.LG, cs.CL

发布日期: 2026-10-22

💡 一句话要点

提出蒙特卡洛特权蒸馏以解决参考敏感性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 蒙特卡洛方法 推理能力 教师分布 参考一致性 深度学习 机器学习

📋 核心要点

  1. 现有的自蒸馏方法依赖单一完整参考，导致模型在推理时对不可用信息的过度依赖。
  2. 提出蒙特卡洛特权蒸馏（MCPD），通过多个部分参考视图的分布来减少目标的不稳定性。
  3. 在数学和科学推理基准上，MCPD显著提高了参考一致性，并在性能上超过了传统的全参考OPSD。

📝 摘要（中文）

在政策自蒸馏（OPSD）中，通过对模型自身轨迹进行训练，利用来自特权副本的密集标记级监督来提升推理能力。现有方法通常依赖于单一的完整参考条件，这种方法存在局限性，因为参考仅是推理过程的一种实现，可能导致目标过度依赖于推理时不可用的信息。为了解决这一问题，本文提出了蒙特卡洛特权蒸馏（MCPD），该方法将特权上下文建模为部分参考视图的分布，并通过对多个视图的评估来平均生成的下一个标记分布。实验表明，MCPD在数学和科学推理基准上提供了更一致的监督，并在性能上优于全参考OPSD。

🔬 方法详解

问题定义：本文旨在解决现有政策自蒸馏方法中参考敏感性的问题。现有方法依赖单一完整参考，导致目标过度依赖于推理时不可用的信息，从而影响模型的推理能力。

核心思路：论文提出的核心思路是通过蒙特卡洛特权蒸馏（MCPD）来建模特权上下文为多个部分参考视图的分布，从而减少参考引起的目标不稳定性。通过对多个视图的评估，MCPD能够生成更为一致的监督信号。

技术框架：MCPD的整体架构包括多个阶段：首先，模型在固定问题和学生状态下生成多个部分参考视图；其次，评估每个视图下的教师分布；最后，平均这些分布以得到最终的目标分布。

关键创新：MCPD的主要创新在于引入了多个参考视图的分布建模，解决了传统方法中因单一参考引起的目标不稳定性。这一方法与现有的全参考条件方法本质上不同，能够提供更为稳健的监督信号。

关键设计：在MCPD中，关键设计包括对部分参考视图的选择、教师分布的评估方式以及最终目标分布的计算方法。损失函数采用了期望教师与学生之间的KL散度最小化，以确保生成的目标分布具有较高的参考一致性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MCPD在数学和科学推理基准上显著提高了模型的性能，相较于全参考OPSD，性能提升幅度达到了XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能问答系统及科学推理任务等。通过提供更一致的监督信号，MCPD能够提升模型在复杂推理任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy self-distillation (OPSD) improves reasoning by training a model on its own trajectories with dense token-level supervision from a privileged copy conditioned on a reference solution. Existing methods typically use a single teacher distribution conditioned on the complete reference. We identify a limitation of this formulation: a reference is only one realization of the reasoning process. Although it provides evidence about the answer, it also encodes an ordering, phrasing, and solution path. Full-reference conditioning can therefore produce correct targets that depend excessively on information unavailable to the student at inference. We show that replacing one valid reference with another, while holding the problem and student state fixed, can substantially alter the teacher distribution, a phenomenon we call reference-induced target instability. To address this instability, we introduce Monte Carlo Privileged Distillation (MCPD), which models privileged context as a distribution over partial reference views and distills the marginal teacher distribution. MCPD evaluates the teacher under multiple views and averages the resulting next-token distributions. We show that this probability-space average is the exact target induced by minimizing the expected teacher-to-student KL divergence over privileged views. Across mathematical and scientific reasoning benchmarks, we show that MCPD produces more reference-consistent supervision and consistently improves over full-reference OPSD.