RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning

📄 arXiv: 2610.17623v1 📥 PDF

作者: Kunwang Zheng, Xinyu Sun, Yu Cao, Shuocheng Li, Lei Cheng, Ying Liu, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-13

备注: 17 pages, 8 figures, 13 tables

💡 一句话要点

提出RELAY以解决基于评分标准的强化学习中的奖励梯度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 基于评分标准 强化学习 选择性蒸馏 教师模型 动态退役机制

📋 核心要点

  1. 现有的基于评分标准的强化学习方法在处理相同响应时缺乏有效的奖励梯度，导致学习效果不佳。
  2. RELAY通过选择性蒸馏和适应性教师退役机制，优化了奖励信号的使用，提高了学习效率。
  3. 实验结果表明，RELAY在多个设置中均优于现有方法，尤其在RaR-Medicine任务中显著提升了得分。

📝 摘要（中文）

基于评分标准的强化学习通过多个书面标准对响应进行评分，但将其合并为一个奖励，导致丢失评分标准的细节，并在响应相同时没有GRPO奖励梯度。RELAY通过使用优势和奖励选择正优势和低评分的零优势回放，并监控蒸馏损失来决定何时退役教师。第一阶段结合来自冻结教师的选择性蒸馏与GRPO；然后，平稳检测器移除教师，第二阶段仅继续GRPO。在四个设置中，RELAY在比较方法中得分最高，在RaR-Medicine上领先GRPO 4.62分，Qwen3-4B上领先6.02分。移除共享检查点中的教师优于保留、削弱或刷新教师的效果。

🔬 方法详解

问题定义：论文要解决的问题是基于评分标准的强化学习在响应相同时缺乏有效的奖励梯度，导致学习效果停滞。现有方法在处理复杂评分标准时未能充分利用细节信息。

核心思路：RELAY的核心思路是通过优势和奖励的选择性蒸馏，结合冻结教师的指导，动态调整学习过程，以提高学习效率并避免早期停滞。

技术框架：RELAY的整体架构分为两个阶段：第一阶段结合选择性蒸馏和GRPO，第二阶段在平稳检测器的指导下仅使用GRPO。主要模块包括教师模型、选择性蒸馏机制和奖励监控系统。

关键创新：RELAY的关键创新在于引入了动态教师退役机制，通过监控蒸馏损失来决定何时移除教师，从而避免了学习过程中的性能停滞。

关键设计：在设计中，RELAY使用了特定的损失函数来监控蒸馏过程，并通过选择性蒸馏覆盖约一半的响应标记，优化了学习效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

RELAY在四个设置中均表现优异，特别是在RaR-Medicine任务中，使用Qwen3-1.7B模型时比GRPO高出4.62分，使用Qwen3-4B时高出6.02分。移除教师的策略在多个实验中均显示出优越性，显著提升了学习效果。

🎯 应用场景

该研究的潜在应用领域包括教育评估、自动评分系统和人机交互等。通过优化基于评分标准的强化学习，RELAY能够提高智能系统在复杂任务中的表现，未来可能对教育技术和智能助手的发展产生深远影响。

📄 摘要（原文）

Rubric-based reinforcement learning grades a response against many written criteria but collapses them into one reward, which discards the detail the rubric carries and gives no GRPO reward gradient when a group's responses tie. A frozen teacher that reads the rubric as privileged context provides token-level supervision, but we observe an early plateau in the gains over GRPO. RELAY uses advantages and rewards to select positive-advantage and low-scoring zero-advantage rollouts, and monitors the distillation loss to decide when to retire the teacher. Stage 1 combines selective distillation from a frozen teacher with GRPO; a plateau detector then removes the teacher, and Stage 2 continues with GRPO alone. Calibrated on one model-domain pair and reused unchanged in three others, the plateau detector fires between steps 122 and 171. RELAY scores highest in-domain among the compared methods in all four settings, ahead of GRPO on RaR-Medicine by 4.62 points with Qwen3-1.7B and 6.02 with Qwen3-4B. On Qwen3-1.7B/Medicine, removing the teacher from a shared checkpoint outperforms keeping, weakening or refreshing it. Distilling selected rollouts covering about half the response tokens also outperforms distilling all rollouts at a matched average coefficient.