Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation
作者: Yuchen Cai, Ding Cao, Liang Lin, Chunxi Luo, Xin Xu, Kai Yang, Weijie Liu, Saiyong Yang, Tianxiang Zhao, Guangzhong Sun, Guiquan Liu, Junfeng Fang
分类: cs.CL
发布日期: 2026-05-12
💡 一句话要点
揭示On-Policy蒸馏效率之谜：提出EffOPD加速训练并保持性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: On-Policy蒸馏 大型语言模型 模型加速 参数动力学 后训练 知识蒸馏 低秩近似
📋 核心要点
- 现有On-Policy蒸馏方法缺乏对效率的参数级机制的理解，未能充分挖掘其潜力。
- 论文提出OPD效率源于“预见”能力，即早期建立稳定更新轨迹，并据此设计加速方法。
- 提出的EffOPD无需额外模块或复杂调参，即可实现平均3倍的训练加速，同时保持性能。
📝 摘要（中文）
On-policy蒸馏(OPD)已成为大型语言模型的一种高效后训练范式。然而，现有研究主要将这种优势归因于更密集和更稳定的监督，而对OPD效率背后的参数级机制知之甚少。本文认为，OPD的效率源于一种“预见”能力：它在训练早期就建立了通往最终模型的稳定更新轨迹。这种预见性体现在两个方面。首先，在模块分配层面，OPD识别出边际效用较低的区域，并将更新集中在对推理更关键的模块上。其次，在更新方向层面，OPD表现出更强的低秩集中性，其主导子空间在训练早期就与最终更新子空间紧密对齐。基于这些发现，我们提出了EffOPD，一种即插即用的加速方法，通过自适应地选择外推步长并沿着当前的更新方向移动来加速OPD。EffOPD不需要额外的可训练模块或复杂的超参数调整，并且在保持相当的最终性能的同时，实现了平均3倍的训练加速。总的来说，我们的研究结果为理解OPD的效率提供了一个参数动力学的视角，并为设计更高效的大型语言模型后训练方法提供了实践见解。
🔬 方法详解
问题定义：论文旨在解决大型语言模型On-Policy蒸馏(OPD)训练效率的问题。现有研究主要关注OPD的密集监督，但缺乏对OPD效率背后参数级机制的深入理解，导致无法进一步提升训练效率。现有方法的痛点在于无法有效利用OPD的特性来加速训练过程。
核心思路：论文的核心思路是揭示OPD的“预见”能力，即OPD在训练早期就能够建立通往最终模型的稳定更新轨迹。通过分析OPD在模块分配和更新方向两个层面的特性，发现OPD能够识别重要模块并集中更新，同时更新方向具有低秩集中性，且与最终更新方向高度一致。基于此，论文提出利用这些特性来加速OPD的训练过程。
技术框架：论文提出的EffOPD方法是一个即插即用的加速框架，无需额外的可训练模块或复杂的超参数调整。其主要流程包括：首先，分析OPD在训练过程中的模块分配和更新方向特性；然后，基于这些特性，自适应地选择外推步长，并沿着当前的更新方向移动；最后，利用更新后的参数进行后续的训练。整个框架旨在利用OPD的“预见”能力，在训练早期就朝着最终模型的方向快速更新。
关键创新：论文最重要的技术创新点在于揭示了OPD的“预见”能力，并将其应用于加速训练过程。具体来说，论文发现了OPD在模块分配和更新方向两个层面的特性，并基于这些特性设计了自适应的外推步长选择方法，从而实现了训练加速。与现有方法相比，EffOPD无需额外的可训练模块或复杂的超参数调整，具有更高的实用性。
关键设计：EffOPD的关键设计在于自适应外推步长的选择。论文通过分析OPD的更新方向与最终更新方向的对齐程度，来动态调整外推步长。具体来说，当更新方向与最终更新方向高度一致时，选择较大的外推步长，以加速训练过程；当更新方向与最终更新方向偏差较大时，选择较小的外推步长，以保证训练的稳定性。此外，EffOPD还采用了低秩近似的方法来加速计算过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的EffOPD方法在保持与原始OPD相当的最终性能的同时，实现了平均3倍的训练加速。该方法无需额外的可训练模块或复杂的超参数调整，具有很强的实用性。这些结果验证了论文提出的OPD“预见”能力的有效性，并为设计更高效的大型语言模型后训练方法提供了新的思路。
🎯 应用场景
该研究成果可广泛应用于大型语言模型的后训练和微调领域，尤其适用于资源受限的场景。通过EffOPD加速训练过程，可以降低训练成本，缩短开发周期，并促进大型语言模型在更多实际应用中的部署。未来，该方法有望推广到其他类型的模型和任务中。
📄 摘要（原文）
On-policy distillation (OPD) has emerged as an efficient post-training paradigm for large language models. However, existing studies largely attribute this advantage to denser and more stable supervision, while the parameter-level mechanisms underlying OPD's efficiency remain poorly understood. In this work, we argue that OPD's efficiency stems from a form of ``foresight'': it establishes a stable update trajectory toward the final model early in training. This foresight manifests in two aspects. First, at the \textbf{Module-Allocation Level}, OPD identifies regions with low marginal utility and concentrates updates on modules that are more critical to reasoning. Second, at the \textbf{Update-Direction Level}, OPD exhibits stronger low-rank concentration, with its dominant subspaces aligning closely with the final update subspace early in training. Building on these findings, we propose \textbf{EffOPD}, a plug-and-play acceleration method that speeds up OPD by adaptively selecting an extrapolation step size and moving along the current update direction. EffOPD requires no additional trainable modules or complex hyperparameter tuning, and achieves an average training acceleration of $3\times$ while maintaining comparable final performance. Overall, our findings provide a parameter-dynamics perspective for understanding the efficiency of OPD and offer practical insights for designing more efficient post-training methods for large language models.