On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
作者: Julianna Piskorz, Antonin Berthon, Mihaela van der Schaar
分类: cs.LG
发布日期: 2026-09-28
💡 一句话要点
研究蒸馏动态中的策略影响，挑战传统观点
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 蒸馏训练 强化学习 模型优化 KL散度 参数更新 泛化能力 科学计算 医学应用
📋 核心要点
- 现有的监督微调与强化学习的比较中，滚动策略的贡献难以独立评估，导致对其影响的理解不足。
- 本文通过控制实验，独立考察滚动策略、KL方向和学习率对蒸馏动态的影响，提供了更清晰的视角。
- 研究表明，token级KL方向对任务表现的影响更为显著，而学习率则在遗忘和更新稀疏性中起关键作用。
📝 摘要（中文）
本文探讨了在强到弱的蒸馏设置中，滚动策略对模型性能的影响。通过独立变化滚动策略、token级KL方向和学习率，分析了Llama3和Qwen2.5模型在科学、医学和算术任务中的表现。研究发现，token级KL方向对任务性能和输出覆盖有更明显的影响，而学习率则主导遗忘和更新稀疏性。尽管在某些任务中，基于策略的数据能改善泛化能力，但其优势依赖于具体目标和优化超参数。整体结果挑战了“基于策略的滚动优于其他方法”的传统观点。
🔬 方法详解
问题定义：本文旨在解决在蒸馏过程中，滚动策略对模型性能影响的模糊性。现有方法未能清晰区分不同因素的作用，导致对滚动策略的理解不够深入。
核心思路：通过在强到弱的蒸馏设置中，独立变化滚动策略、token级KL方向和学习率，系统性地分析其对模型性能的影响，以揭示各因素的相对重要性。
技术框架：研究采用了Llama3和Qwen2.5模型，涵盖科学、医学和算术等多个任务。实验设计中，分别调整滚动策略、KL方向和学习率，观察其对模型输出的影响。
关键创新：最重要的创新在于明确了token级KL方向对任务性能的主导作用，而滚动策略的影响并不如预期显著，挑战了传统的观点。
关键设计：在实验中，采用了不同的学习率设置和KL估计方法，分析了KL梯度的变化，并在多个任务上进行了验证，确保结果的稳健性。实验还探讨了梯度裁剪和采样KL估计器的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，token级KL方向对任务表现的影响显著，而滚动策略的变化对性能的影响较小。尤其是在Countdown算术任务中，基于策略的数据在某些情况下能够改善泛化能力，但这一优势并不总是持续存在。
🎯 应用场景
该研究的潜在应用领域包括强化学习、模型蒸馏和自然语言处理等。通过优化蒸馏过程中的策略选择，可以提高模型在复杂任务中的表现，推动智能系统的实际应用和发展。
📄 摘要（原文）
On-policy learning has been argued to reduce catastrophic forgetting, produce sparser parameter updates, and improve generalisation. However, existing comparisons between supervised fine-tuning and reinforcement learning vary many factors simultaneously, making the contribution of rollout policy difficult to isolate. We study the effect of rollout policy in a controlled strong-to-weak distillation setting, by independently varying rollout policy, token-level KL direction, and learning rate across the Llama3 and Qwen2.5 model families and reasoning tasks spanning scientific, medical, and arithmetic domains. Our analysis reveals a nuanced picture of distillation dynamics in which rollout policy does not necessarily play a central role. Instead, token-level KL direction more clearly shapes task performance and output coverage, while learning rate governs forgetting and update sparsity. Analysis of KL gradients and experiments along a continuous student-teacher rollout-policy spectrum explain this pattern: forward KL is remarkably robust to rollout policy, with its performance stable and strong despite changes to the rollout policy, whereas reverse KL is substantially more sensitive and favours student-generated rollouts. On-policy data nevertheless improves generalisation to harder variants of the Countdown arithmetic task under both KL directions, although this advantage does not reliably persist after subsequent RLVR. Our broader conclusions remain robust to removing gradient clipping, using sampled KL estimators, and training on tasks requiring longer reasoning chains. Overall, our results challenge the view that on-policy rollouts are inherently preferable and show that their value depends critically on the objective, evaluation setting, and optimisation hyperparameters.