GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
作者: Yushu Wang, Renkai Yang, Jingcao Xu, Zili Geng, Haihong Tang, Yaohui Jin, Hao He
分类: cs.LG
发布日期: 2026-10-16
💡 一句话要点
提出GR-OPD以解决现有OPD方法的反馈信用分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 策略蒸馏 反馈信用分配 深度学习 自然语言处理 强化学习
📋 核心要点
- 现有的OPD方法在反馈信用分配上存在局限，未能考虑早期动作对后续反馈的影响，导致学习效果不佳。
- 本文提出GR-OPD，通过将令牌反馈聚合为序列级信用，解耦反馈计算与信用分配，从而提高学习效率。
- 实验结果显示，GR-OPD在多个设置中均优于传统OPD，尤其在思维模式匹配的情况下，提升显著，且在不匹配情况下保持稳定训练。
📝 摘要（中文）
在策略蒸馏（OPD）中，常见的采样令牌更新方法局限于局部信用分配，忽略了早期动作对后续反馈的影响。本文提出了GR-OPD（Group-Relative On-Policy Distillation），通过将令牌反馈聚合为校准的序列级信用，解耦了反馈计算与信用分配。我们建立了理论基础，证明在理想的策略假设下，将原始反馈广播到每个响应令牌可以无偏估计序列级反向KL目标的负梯度。为了支持有效学习，GR-OPD对后续反馈进行了折扣处理，并使用相同提示的回滚组来校准教师指导。实验结果表明，GR-OPD在五个Qwen3教师-学生设置和六个数学推理基准上均优于传统OPD，尤其在匹配思维模式的两个设置中提升了10.9和11.5个百分点。
🔬 方法详解
问题定义：本文旨在解决现有OPD方法在反馈信用分配中的不足，特别是如何有效考虑早期动作对后续反馈的影响。现有方法通常局限于局部信用分配，导致学习效果不理想。
核心思路：GR-OPD的核心思路是通过将令牌反馈聚合为校准的序列级信用，解耦反馈计算与信用分配。这种设计能够更全面地考虑序列中各个动作的影响，从而提高学习的有效性。
技术框架：GR-OPD的整体架构包括反馈计算模块和信用分配模块。反馈计算模块负责生成令牌反馈，而信用分配模块则将这些反馈聚合为序列级信用，并进行校准。
关键创新：GR-OPD的主要创新在于引入了集体教师压力的概念，通过保留相对响应偏好并控制组均值的比例，提升了学习效果。这与传统OPD方法的局部信用分配形成了本质区别。
关键设计：在设计上，GR-OPD对后续反馈进行了折扣处理，以应对分布转移带来的不可靠性。同时，使用相同提示的回滚组来校准教师指导，确保反馈的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GR-OPD在五个Qwen3教师-学生设置和六个数学推理基准上均优于传统OPD，尤其在匹配思维模式的情况下，提升幅度达到10.9和11.5个百分点。此外，GR-OPD在不匹配思维模式下保持了训练的稳定性，而传统OPD则出现崩溃现象。
🎯 应用场景
GR-OPD的研究成果在自然语言处理、强化学习等领域具有广泛的应用潜力。通过改进的反馈信用分配机制，能够提升模型的学习效率和稳定性，尤其在动态环境中，具有重要的实际价值和影响。
📄 摘要（原文）
On-policy distillation (OPD) provides token-level teacher feedback, yet common sampled-token updates assign credit locally and omit the effects of earlier actions on subsequent feedback. We introduce \method{} (Group-Relative On-Policy Distillation), which decouples feedback computation from credit assignment by aggregating token feedback into calibrated sequence-level credit. We establish a theoretical basis for this approach by showing that, under ideal on-policy assumptions, broadcasting raw summed feedback to every response token yields an unbiased estimate of the negative gradient of the sequence-level reverse-KL objective. To support effective learning in practice, \method{} discounts later feedback that may become less reliable under distribution shift and uses same-prompt rollout groups to calibrate teacher guidance. It preserves relative response preferences while retaining a controlled fraction of the group mean, which we term collective teacher pressure. Across five Qwen3 teacher--student settings and six mathematical reasoning benchmarks, \method{} outperforms vanilla OPD in macro Avg@K in every setting, including gains of 10.9 and 11.5 percentage points in two settings with matched thinking patterns. It also maintains stable training under mismatched thinking patterns, where vanilla OPD collapses. Ablations show that retaining an appropriate amount of collective teacher pressure can improve learning, while excessive collective teacher pressure or an unrestricted feedback horizon can destabilize training.