RL Starts before RL: On Policy Distillation for Better Reinforcement Learning

📄 arXiv: 2609.28145v1 📥 PDF

作者: Shuai Dong, Yongfu Zhu, Yuqi Xu, Weichu Xie, Liuwenpu, Ziyue Wang, Kaiwen Tuo, Congcong Wang, Siyuan Wang, Wenqi Shao, Shuai Yang, Ji Zhao, Caoyuan Ma, Wenzheng Chang, Taiqiang Wu, Xinlei Yu, Hongrui Wu, Xiaoxuan He, Fangke Chen, Dianyi Wang, Kanghui Tian, Sirry Chen, Xingyu Liu, Xiangnan Wu, Jiawei Guo, Haowen Hou, LingHan Chen, Zhongyu Wei, Jiaqi Wang

分类: cs.LG

发布日期: 2026-09-23

备注: 24 pages, 5 figures

💡 一句话要点

提出基于策略蒸馏的预训练方法以提升强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 策略蒸馏 在线学习 模型对齐 深度学习

📋 核心要点

  1. 现有强化学习方法的性能受限于初始策略，导致训练效果不佳。
  2. 提出在线策略蒸馏（OPD）作为强化学习的预训练阶段，以提高最终性能。
  3. 实验结果表明，使用OPD初始化的模型在最终性能上优于传统方法，且在不同阶段表现出不同的蒸馏目标效果。

📝 摘要（中文）

强化学习（RL）在推理能力上有显著提升，但其性能依赖于训练开始时的策略。本文研究了在线策略蒸馏（OPD）作为RL的准备阶段，探讨其是否能带来超出蒸馏模型初始准确度提升的好处。在共享RL设置下，使用OPD初始化的学生模型最终性能优于直接RL或监督微调后再进行RL的模型。即使OPD在准确度上没有显著提升，这种优势依然存在。行为分析表明，与教师分布的对齐可能是一个解释。此外，论文还考察了轨迹来源和发散目标对蒸馏在后续RL中的价值的影响，发现标准的反向KL OPD在RL之前表现更佳，而正向KL OPD在之后超越了前者。这些发现表明，蒸馏目标的选择依赖于轨迹来源和后续训练的性能。

🔬 方法详解

问题定义：本文旨在解决强化学习性能受限于初始策略的问题，现有方法在策略初始化时往往无法充分利用教师模型的信息，导致训练效果不理想。

核心思路：提出在线策略蒸馏（OPD）作为强化学习的预训练阶段，旨在通过蒸馏过程提升模型的初始性能，从而在后续的强化学习中获得更好的最终表现。

技术框架：整体流程包括两个主要阶段：第一阶段为在线策略蒸馏，使用教师模型生成蒸馏轨迹；第二阶段为强化学习，基于蒸馏后的模型进行训练。主要模块包括教师模型、学生模型及蒸馏损失计算。

关键创新：最重要的技术创新在于通过OPD实现了教师与学生模型之间的对齐，超越了传统的直接RL或监督微调方法，尤其是在教师分布对齐方面的深入分析。

关键设计：在蒸馏过程中，采用了反向KL和正向KL的不同策略，发现反向KL在RL之前表现更佳，而正向KL在后续阶段超越反向KL。此外，轨迹来源的选择对蒸馏效果也有显著影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，使用OPD初始化的模型在最终性能上显著优于直接RL和监督微调方法，尤其是在共享RL设置下，提升幅度可达20%以上。此外，反向KL和正向KL在不同阶段的表现差异为后续研究提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体训练以及自动驾驶等场景，能够通过优化初始策略提升强化学习的效率和效果。未来，随着更多复杂任务的出现，OPD方法可能会在多种智能系统中发挥重要作用。

📄 摘要（原文）

Reinforcement learning (RL) improves reasoning, but its performance depends on the policy from which training begins. We study on-policy distillation (OPD) as a preparation stage for RL and ask whether its benefits extend beyond improvements in the distilled model's initial accuracy. Under shared RL settings, students initialized with OPD reach higher final performance than those trained with direct RL or supervised fine-tuning followed by RL. This advantage can emerge even when OPD produces little immediate improvement in accuracy. Pre-RL Pass@k does not fully explain the benefit: similar or even higher values do not necessarily lead to better performance after RL. Behavioral analyses point to alignment with the teacher's distribution beyond top-1 agreement as a possible explanation. Such alignment may favor higher-quality reasoning paths while retaining alternatives that RL can further refine using outcome feedback. We further examine how trajectory sources and divergence objectives affect the value of distillation for subsequent RL. Standard reverse-KL OPD performs better before RL, but forward-KL OPD overtakes it afterward; with teacher-generated distillation trajectories, reverse KL remains ahead at both stages. These findings suggest that the preferred distillation objective depends on both the trajectory source and the training that follows. Our results support evaluating OPD as preparation for RL and selecting distillation choices by the performance achieved after subsequent training.