Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models

📄 arXiv: 2609.37132v1 📥 PDF

作者: Zheng Zhang, Xinyue Tan, Lufei Li, Xinyi Zhang, Yexin Li, Kan Ren

分类: cs.AI

发布日期: 2026-09-29

💡 一句话要点

提出B-OPSD以提升大语言模型的自蒸馏效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自蒸馏 大语言模型 监督学习 数学推理 模型优化 深度学习

📋 核心要点

  1. 现有的自蒸馏方法通常依赖于当前或缓慢平均的策略状态，导致监督质量受限于教师的能力。
  2. B-OPSD通过提前训练策略获取未来教师，并在恢复学生后使用该教师进行监督，提升了监督的可靠性和信息量。
  3. 实验结果显示，B-OPSD在数学推理任务中相较于标准自蒸馏方法有显著提升，性能提升幅度达到27.50到41.30等。

📝 摘要（中文）

在这篇论文中，作者提出了一种新的自蒸馏方法——Bootstrapped On-Policy Self-Distillation (B-OPSD)，旨在通过利用模型自身的优化进展来构建更强的自教师。与现有方法不同，B-OPSD通过提前训练策略以获得未来教师，并在恢复学生模型后使用该教师进行监督，从而生成更可靠的特征轨迹和更具信息量的标记目标。实验结果表明，B-OPSD在数学推理任务中显著提升了模型性能，展示了未来学习进展可以向后蒸馏的潜力。

🔬 方法详解

问题定义：现有的自蒸馏方法在构建自教师时，通常依赖于当前或初始的策略状态，这限制了监督的质量和有效性。

核心思路：B-OPSD的核心思想是通过提前训练策略，生成一个未来教师，并在恢复学生模型后利用该教师进行监督，从而提升监督的质量。

技术框架：B-OPSD的整体架构包括三个主要阶段：首先，提前训练策略以生成未来教师；其次，恢复学生模型到原始策略状态；最后，利用未来教师对恢复后的学生进行监督。

关键创新：B-OPSD的创新在于通过未来教师的引入，能够生成更可靠的特征轨迹和更具信息量的标记目标，与传统方法相比，显著提升了自蒸馏的效果。

关键设计：在B-OPSD中，关键的参数设置包括教师模型的训练时间和监督策略的选择，损失函数则设计为能够平衡教师与学生之间的知识传递。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，B-OPSD在数学推理任务中表现优异，相较于标准的自蒸馏方法，性能提升幅度从27.50提升至41.30，以及从48.80提升至64.44，显示出显著的改进。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动推理等。通过提升大语言模型的自蒸馏效果，B-OPSD可以在更复杂的任务中实现更高的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy self-distillation (OPSD) improves large language models by letting a self-teacher with privileged information provide dense token-level supervision on the model's own trajectories. Yet existing methods typically construct the self-teacher from the current, initial, or slowly averaged policy state, leaving the quality of supervision constrained by the teacher's ability to exploit privileged information. We ask whether the model's own optimization progress can instead be recycled into a stronger self-teacher. In this paper, we introduce Bootstrapped On-Policy Self-Distillation (B-OPSD), which temporarily trains the policy ahead to obtain a future teacher, restores the student to the original policy state, and then uses the future teacher to supervise the restarted student. The future teacher improves supervision in two complementary ways, it can generate more reliable privileged trajectories and, conditioned on them, provide more informative token-level targets along the restarted student's on-policy trajectories. Experiments on mathematical reasoning with Qwen3-4B and Qwen3-8B show consistent improvements over standard OPSD in both settings, including gains from 27.50 to 41.30 and from 48.80 to 64.44 in the rollout-privileged setting. Our findings point to a broader principle for self-improving models that future learning progress can be distilled backward, preserving acquired knowledge while bootstrapping beyond the optimization state that produced it.