OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation

📄 arXiv: 2610.02781v1 📥 PDF

作者: Xinpeng Wang, Wei Shi, Yu-Chia Chen, Maria Zontak, Yun He, Richard Yuanzhe Pang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-02

💡 一句话要点

提出双阶段训练框架以优化基于评分的强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 基于评分的强化学习 在线蒸馏 双阶段训练 语言模型 医疗健康 科学研究

📋 核心要点

  1. 现有的基于评分的强化学习方法在奖励分配上存在延迟，无法明确识别个体决策对最终得分的影响。
  2. 论文提出的双阶段训练框架通过先进行在线蒸馏，再进行强化学习，利用评分作为密集监督和奖励，提升了训练效果。
  3. 实验结果表明，该框架在HealthBench、ResearchQA和RubricHub Science等任务上表现优异，超越了其他后训练方法。

📝 摘要（中文）

许多有用的语言模型任务无法通过精确结果验证来评估。基于评分的强化学习（RL）通过根据明确标准对开放式响应进行评分来解决此问题。然而，由于奖励是在完整响应后分配的，训练信号并不能直接识别哪些个体决策对最终得分有贡献。我们提出了一种两阶段训练框架，首先将评分作为密集标记级别监督的特权教师上下文，然后作为进一步RL的奖励。在第一阶段，评分特权的在线蒸馏（RP-OPD）中，学生在没有访问评分的情况下匹配评分感知教师的下一个标记分布。在第二阶段，RL直接优化评分奖励，并超越观察到的蒸馏平台。我们在健康和科学任务上评估该框架，发现我们的两阶段框架在评估的方法中取得了最高分。

🔬 方法详解

问题定义：本论文旨在解决基于评分的强化学习中，奖励分配延迟导致的训练信号不明确的问题。现有方法无法清晰识别哪些决策对最终得分有贡献，影响模型的学习效果。

核心思路：论文提出的双阶段训练框架首先利用评分作为教师信号进行在线蒸馏，提供密集的标记级别监督，然后再进行强化学习以优化评分奖励。这种设计旨在通过先行的密集监督来提升模型的学习效率。

技术框架：整体框架分为两个主要阶段：第一阶段为评分特权的在线蒸馏（RP-OPD），学生模型在没有评分信息的情况下，模仿教师模型的下一个标记分布；第二阶段为强化学习，直接优化基于评分的奖励。

关键创新：最重要的技术创新在于将评分作为教师信号进行在线蒸馏，从而在强化学习之前提供了更为精细的训练信号。这一方法与传统的强化学习方法相比，能够更有效地利用评分信息。

关键设计：在模型训练中，采用了特定的损失函数来衡量学生模型与教师模型之间的分布差异，同时在强化学习阶段，设计了针对评分的奖励机制，以确保模型能够在训练过程中逐步优化其输出。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，RP-OPD与强化学习结合的框架在HealthBench、ResearchQA和RubricHub Science任务中取得了最高分，显著优于其他后训练方法。特别是在RubricHub Science上，RP-OPD + RL表现出有限的奖励劫持现象，而SFT + RL基线则在没有提供必要内容的情况下获得高奖励。

🎯 应用场景

该研究的潜在应用领域包括医疗健康、科学研究等需要生成开放式响应的任务。通过优化基于评分的强化学习，模型能够更好地理解和生成符合特定标准的内容，提升实际应用的效果和可靠性。未来，该方法可能对教育、内容生成等领域产生深远影响。

📄 摘要（原文）

Many useful language-model tasks cannot be evaluated by exact outcome verification. Rubric-based reinforcement learning (RL) addresses this issue by scoring open-ended responses against explicit criteria. However, because the reward is assigned after the complete response, the training signal does not directly identify which individual decisions contributed to the final score. We propose a two-stage training framework that uses rubrics first as privileged teacher context for dense token-level supervision, then as rewards for further RL. In the first stage, rubric-privileged on-policy distillation (RP-OPD), a student without access to the rubric matches a rubric-aware teacher's next-token distributions at student-generated prefixes. In the second stage, RL directly optimizes the rubric reward and improves beyond the observed distillation plateau. We evaluate the framework on health and science tasks using open-weight models. Across HealthBench, ResearchQA, and RubricHub Science, we compare post-training methods and vary the amount of SFT or RP-OPD training before RL, finding that our two-stage framework achieves the highest scores among the methods evaluated. RP-OPD + RL shows limited signs of reward hacking on RubricHub Science, whereas the SFT + RL baseline increasingly receives high rewards for claims of rubric compliance without providing the required content. These findings support using rubrics to guide on-policy distillation before applying rubric-based RL.