Teach Me After You Learn It: Lookahead Self-Distillation for RLVR

📄 arXiv: 2610.18256v1 📥 PDF

作者: Zepeng Zhai, Meilin Chen

分类: cs.LG

发布日期: 2026-10-13

备注: 18 pages, 3 figures

💡 一句话要点

提出Lookahead自蒸馏方法以提升RLVR性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 强化学习 跨实例监督 自然语言处理 智能代理

📋 核心要点

  1. 现有的在线自蒸馏方法仅依赖于同一实例的特权信息，未能充分利用跨实例的监督，导致学习效果受限。
  2. 本文提出的Lookahead自蒸馏方法通过引入跨实例蒸馏，允许教师从其他回放中学习，从而增强学生的学习效果。
  3. 实验结果显示，LEAD在多个基准测试中表现优异，尤其在领域内平均性能和领域外泛化能力上均优于现有方法。

📝 摘要（中文）

在现有的在线自蒸馏（OPSD）方法中，监督信息仅来自同一实例的特权信息，忽视了跨实例的监督。本文提出了Lookahead自蒸馏（LEAD），通过允许教师先从其他在线策略回放中学习，再教导学生，来引入跨实例蒸馏。LEAD通过对不重叠的在线回放子集进行虚拟强化学习更新，构建前瞻教师，并利用每个教师为其他子集提供跨组的标记级监督。为了解决OPSD与RLVR之间可能存在的信号冲突，本文引入了和谐调制，基于两者之间的协议自适应调节GRPO优势。大量实验表明，LEAD在科学推理和交互代理基准测试中，在各模型规模上实现了最佳的领域内平均性能，同时保持了与GRPO相当的领域外泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有在线自蒸馏方法在监督信息利用上的局限性，特别是仅依赖同一实例的特权信息，导致学习效果不佳的问题。

核心思路：提出Lookahead自蒸馏（LEAD）方法，通过允许教师先从其他在线回放中学习，再进行教学，来引入跨实例的监督，从而提升学习效果。

技术框架：LEAD的整体架构包括教师和学生模型的构建，教师模型通过对不重叠的在线回放子集进行虚拟强化学习更新，提供跨组的标记级监督。

关键创新：LEAD的主要创新在于引入了跨实例蒸馏机制，允许教师从其他实例中学习，打破了传统方法的局限性，增强了学习信号的多样性。

关键设计：在设计中，采用和谐调制机制，根据OPSD与RLVR信号之间的协议自适应调节GRPO优势，以平衡两者的影响，确保学习过程的稳定性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，LEAD在科学推理和交互代理基准测试中实现了最佳的领域内平均性能，且在不同模型规模下均表现优异。与GRPO相比，LEAD在领域外泛化能力上保持了相当的水平，显示出其强大的适应性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能代理系统和科学推理等。通过提升模型的学习效率和泛化能力，LEAD方法在实际应用中能够更好地处理复杂任务，推动智能系统的进一步发展。

📄 摘要（原文）

On-policy self-distillation (OPSD) has emerged as a popular training paradigm for LLMs, providing dense, token-level supervision by aligning a model's own distribution with the distribution induced by privileged information. However, existing OPSD methods derive supervision solely from privileged information of the same instance, leaving inter-instance supervision largely unexplored. We propose Lookahead Self-Distillation (LEAD), which introduces inter-instance distillation by allowing the teacher to first learn from other on-policy rollouts before teaching the student. LEAD constructs lookahead teachers through virtual RL updates on disjoint subsets of on-policy rollouts, and uses each teacher to provide cross-group token-level supervision for the other subset. To reconcile the complementary yet potentially conflicting signals from OPSD and RLVR, we introduce harmonious modulation, which adaptively modulates the GRPO advantage based on the agreement between the two signals. Extensive experiments on scientific reasoning and interactive-agent benchmarks show that LEAD achieves the best in-domain average performance across model scales while maintaining out-of-domain generalization comparable to GRPO.