Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

📄 arXiv: 2610.21601v1 📥 PDF

作者: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang

分类: cs.LG, cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出Waypoint-OPD以解决策略蒸馏中的局部偏好一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 策略蒸馏 强化学习 模型训练 动作偏好 门控机制 数学推理 智能系统

📋 核心要点

  1. 现有的策略蒸馏方法无法有效捕捉教师训练过程中局部动作偏好的演变一致性，导致策略转移效果不佳。
  2. 本文提出Waypoint-OPD，通过比较教师在训练过程中的早期和晚期策略偏好，利用门控机制优化策略蒸馏过程。
  3. 实验结果显示，Waypoint-OPD在多个学生模型设置中均优于传统的策略蒸馏方法，提升了数学推理性能。

📝 摘要（中文）

策略蒸馏通过重用教师在强化学习（RL）前后的日志概率差异来指导学生生成的轨迹。然而，现有方法无法揭示教师训练期间局部动作偏好的演变是否一致。本文提出Waypoint-guided On-Policy Distillation (Waypoint-OPD)，利用同一RL运行中的中间教师检查点比较早期和晚期的相对动作偏好变化。通过根据早晚期偏好的方向一致性对最终策略转移进行门控，抑制相反方向的偏移。实验表明，Waypoint-OPD在数学和代码推理任务中，均在六个领域的学生设置中取得了最高的领域平均分。

🔬 方法详解

问题定义：本文旨在解决现有策略蒸馏方法无法有效反映教师训练期间局部动作偏好一致性的问题。传统方法仅依赖最终策略的转移，忽视了早期和晚期偏好的变化。

核心思路：Waypoint-OPD的核心思想是利用同一RL运行中的中间教师检查点，比较早期和晚期的策略偏好变化，并根据这些变化的方向一致性对最终策略转移进行门控，以优化学生模型的训练。

技术框架：Waypoint-OPD的整体架构包括教师模型的训练、早晚期策略偏好的比较、以及基于方向一致性的门控机制。具体流程为：首先训练教师模型，然后在中间检查点处提取策略偏好，最后将这些信息应用于学生模型的训练中。

关键创新：Waypoint-OPD的主要创新在于引入了早晚期策略偏好的方向一致性作为门控机制，这一设计使得策略转移更加精确，避免了相反方向偏好的干扰。

关键设计：在实现中，关键参数包括教师检查点的选择、门控机制的实现方式，以及损失函数的设计。实验中还发现，去除或打乱门控机制会显著降低数学推理性能，验证了其重要性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Waypoint-OPD在使用Qwen3-8B、Qwen3-14B和Qwen3-30B-A3B作为学生模型的六个领域设置中，均取得了最高的领域平均分，相较于传统的策略蒸馏方法，性能提升显著，尤其在数学推理任务中表现突出。

🎯 应用场景

Waypoint-OPD的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效策略学习的任务中，如机器人控制、自动驾驶和智能助手等。通过优化策略蒸馏过程，该方法能够提升模型在复杂任务中的表现，推动智能系统的进一步发展。

📄 摘要（原文）

Policy-shift distillation reuses the difference between a teacher's log probabilities before and after reinforcement learning (RL) as supervision on student-generated trajectories. However, this endpoint policy shift cannot reveal whether local action preferences evolved consistently during teacher training. The same endpoint shift can result from early and late shifts that reinforce or partially cancel each other. We investigate whether agreement between early and late teacher policy shifts can guide selective transfer. We introduce Waypoint-guided On-Policy Distillation (Waypoint-OPD), which uses an intermediate teacher checkpoint from the same RL run to compare early and late shifts in relative action preferences at student-visited prefixes. We gate the endpoint shift according to the directional agreement between the early and late shifts, suppressing it when they point in opposing directions. Compared with endpoint-only transfer, our method requires only one additional frozen-teacher scoring pass. Using RL-trained Qwen3-4B teachers, we evaluate our method with Qwen3-8B, Qwen3-14B, and Qwen3-30B-A3B as student models in mathematical and code reasoning. In all six domain--student settings, Waypoint-OPD achieves the highest domain-average score among the compared distillation methods. Ablations with the Qwen3-8B student show that removing or shuffling gates reduces mathematical reasoning performance. These results support the use of directional agreement between early and late teacher policy shifts to weight the endpoint shift during student training.