Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers

📄 arXiv: 2610.05974v1 📥 PDF

作者: Xiaoyu Chen, Bo Shao, Tiangang Zhu, Bintao Wu, Linjun Shou, Fengge Wu, Feng Sun, Wenbiao Ding

分类: cs.LG, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出转移分层的在线蒸馏方法以提升推理教师的效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 在线蒸馏 推理教师 转移学习 KL散度 教育技术 个性化学习

📋 核心要点

  1. 现有方法未能有效评估强化学习改进的教师在指导小规模学生时的实际效果。
  2. 论文提出的TS-OPD方法通过筛选训练问题和采用不同的KL散度方法，优化了在线蒸馏过程。
  3. 实验表明，TS-OPD在宏观平均正确率上表现最佳，且增益主要来自于问题路由和令牌门控设计。

📝 摘要（中文）

强化学习可以显著提升推理教师的能力，但不清楚这些提升在教师指导较小的在线学生时是否依然有效。本文通过比较教师在GRPO前后的表现、多个学生规模、直接GRPO及多种在线蒸馏目标，研究了这一问题。研究发现，转移是结构化的，而非标量的：教师的强度并不足以使密集蒸馏具有竞争力，而强化学习改进的教师则能带来有用但依赖于度量的学生收益。为此，提出了转移分层在线蒸馏（TS-OPD），该方法通过学生和教师的联合成功筛选训练问题，并针对不同问题类型采用不同的KL散度方法。实验结果表明，TS-OPD在与GRPO改进教师的比较中表现最佳，而pass@K的结果则较为复杂。

🔬 方法详解

问题定义：本文旨在解决强化学习改进的推理教师在指导小规模在线学生时的有效性问题。现有方法未能充分考虑教师的强度与学生能力之间的匹配关系。

核心思路：提出转移分层在线蒸馏（TS-OPD），通过联合成功率筛选训练问题，并根据问题类型采用不同的KL散度方法，以提升学生的学习效果。

技术框架：TS-OPD整体架构包括问题筛选模块、问题路由模块和熵制动模块。问题筛选模块根据学生和教师的联合成功率筛选训练问题，问题路由模块根据问题类型选择合适的KL散度方法，熵制动模块则用于保护样本覆盖率。

关键创新：TS-OPD的核心创新在于其转移意识的设计，强调教师的强度与学生的观察能力之间的匹配，而非单纯依赖教师的强度。

关键设计：在设计中，采用了门控机制来处理不同类型的问题，并引入了熵制动以防止样本覆盖率的下降，确保了训练过程的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，TS-OPD在与GRPO改进教师的比较中，宏观平均正确率表现最佳，具体性能数据未提供。相较于传统方法，TS-OPD在问题路由和令牌门控方面的设计显著提升了学生的学习效果，验证了其有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在教育技术、智能辅导系统和自动化推理等领域。通过优化教师与学生之间的互动，能够提升学习效果，促进个性化学习的发展，未来可能对教育行业产生深远影响。

📄 摘要（原文）

Reinforcement learning can substantially improve a reasoning teacher, but it is unclear which of those improvements survive when the teacher supervises a smaller on-policy student. We study this question in mathematical reasoning by comparing teacher lineages before and after GRPO, multiple student scales, direct GRPO, and several on-policy distillation objectives. The central finding is that transfer is structured rather than scalar: teacher strength alone does not make dense distillation competitive, while an RL-improved teacher creates useful but metric-dependent student gains. This motivates Transfer-Stratified On-Policy Distillation (TS-OPD), which screens training problems by the joint sampled success of the student and teacher, routes acquisition problems to gated forward KL, routes consolidation problems to gated reverse KL, and adds an entropy brake to protect sampled coverage. Across the main comparison, TS-OPD is the strongest student objective for macro average correctness with the GRPO-improved teacher, while pass@K remains more mixed. Ablations show that the gains come from routing and token gating rather than skipping problems. These results support a transfer-aware view of OPD: stronger teachers help when the supervision direction and token budget match the student's observed ability, not merely because the teacher endpoint is stronger.