Reward-Aligned Reweighting for On-Policy Distillation
作者: Haofeng Xu, Junwei Su, Lansong Diao, Wenchao Zhou, Chuan Wu
分类: cs.LG
发布日期: 2026-09-28
💡 一句话要点
提出R²-OPD以解决标准OPD中教师偏好与学生决策不匹配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策蒸馏 奖励对齐 模型训练 自然语言处理 代码生成 数学推理 教师反馈
📋 核心要点
- 现有的政策蒸馏方法在处理教师偏好与学生决策之间的匹配问题时存在不足，可能导致学生策略的抑制或错误强化。
- 论文提出的R²-OPD通过奖励对齐重加权，利用结果一致性和教师与学生的不一致性来动态调整教师的监督权重。
- 在七个数学推理基准测试中，R²-OPD在不同规模的学生模型上均表现出显著的准确率提升，验证了其有效性。
📝 摘要（中文）
在政策蒸馏（OPD）中，学生语言模型通过强教师在学生生成的轨迹上提供的密集反馈进行训练。然而，标准OPD均匀加权令牌级蒸馏项，隐含地将局部教师偏好视为修正效用的代理。决策的任务价值依赖于学生如何完成后续推理，这种不匹配可能导致模仿抑制可行的学生策略或强化学生无法可靠执行的路径。我们提出了奖励对齐重加权的政策蒸馏（R²-OPD），通过结果一致性和教师与学生之间的不一致程度，持续重新分配教师监督。R²-OPD在七个数学推理基准测试中实现了最高的平均准确率，相较于标准OPD在所有基准测试中均有显著提升。
🔬 方法详解
问题定义：论文要解决的问题是标准政策蒸馏（OPD）中教师偏好与学生决策之间的不匹配，导致学生模型在学习过程中可能抑制有效策略或强化无效路径。
核心思路：R²-OPD的核心思路是通过奖励对齐重加权，利用验证轨迹的结果一致性和教师与学生之间的意见不一致，动态调整教师的监督权重，从而增强有效反馈的影响。
技术框架：R²-OPD的整体架构包括教师模型和学生模型的交互，首先生成学生轨迹，然后通过比较教师和学生的决策结果，计算不一致性，并据此调整教师的反馈权重。
关键创新：R²-OPD的主要创新在于引入了奖励对齐重加权机制，使得教师的反馈能够更有效地指导学生模型的学习，区别于传统的均匀加权方法。
关键设计：在设计中，论文详细定义了损失函数的构建，强调了结果一致性和不一致性的计算方式，并对教师与学生之间的反馈权重进行了动态调整。
🖼️ 关键图片
📊 实验亮点
实验结果显示，R²-OPD在七个数学推理基准测试中均超过标准OPD，平均提升1.7B和4B学生模型的准确率分别为3.5和2.4个百分点。此外，在代码生成任务中，R²-OPD也实现了1.6个百分点的提升，验证了其在不同任务上的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、代码生成和其他需要模型蒸馏的任务。通过优化教师反馈的利用，R²-OPD能够提升学生模型的性能，具有广泛的实际价值和未来影响，尤其是在大规模模型训练中。
📄 摘要（原文）
On-policy distillation (OPD) trains a student language model with dense feedback from a stronger teacher on student-generated trajectories. Yet standard OPD weights token-level distillation terms uniformly, implicitly treating local teacher preference as a proxy for correction utility. A decision's task value, however, depends on how the student completes the subsequent reasoning. This mismatch can cause imitation to suppress viable student strategies or reinforce paths the student cannot reliably execute. Verified trajectory outcomes provide complementary evidence about continuation quality, but do not directly identify the utility of individual decisions. We introduce Reward-Aligned Reweighting for On-Policy Distillation (R$^{2}$-OPD), which uses outcome agreement and the magnitude of teacher--student disagreement to continuously reallocate teacher supervision. It gives reward-aligned corrections greater relative influence while retaining dense feedback, moving beyond uniform imitation and hard filtering. Our analysis formalizes the mismatch between local teacher preference and student continuation value and establishes sufficient conditions for reallocation to improve first-order task progress over uniform OPD. Across seven mathematical reasoning benchmarks, R$^{2}$-OPD achieves the highest average accuracy among the compared training methods in both cross-size and same-size distillation. It outperforms standard OPD on all seven benchmarks, with average gains of 3.5 and 2.4 percentage points for 1.7B and 4B students, respectively. An extension to code generation yields an average gain of 1.6 percentage points over standard OPD. These results highlight outcome-guided supervision allocation as an effective way to translate dense teacher feedback into stronger student performance across model scales and task domains.