Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR

📄 arXiv: 2609.04108v2 📥 PDF

作者: Boyan Li, Bingsen Chen, Chenghao Yang, Ping Nie, Chen Zhao, Xi Ye

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-03 (更新: 2026-09-04)

💡 一句话要点

提出OPD-then-RL方法以提升强化学习与蒸馏训练的效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 可验证奖励 蒸馏训练 逻辑推理 数学推理 模型优化 学习动态

📋 核心要点

  1. 现有方法在结合OPD和RLVR时，往往导致信号干扰，影响推理性能。
  2. 本文提出的OPD-then-RL方法通过先进行OPD再进行RL，有效避免了信号干扰，提升了模型性能。
  3. 实验结果表明，OPD-then-RL在逻辑和数学推理基准测试中显著优于其他方法，验证了其有效性。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）和基于策略的蒸馏训练（OPD）已成为后训练推理大型语言模型的两种主要方法。以往研究通过加权组合或教师调制重标定将这两种信号融合在一起，而本文提出的简单两阶段方案OPD-then-RL在逻辑和数学推理基准测试中始终优于纯OPD、纯RLVR及其联合基线。我们通过pass@$k$行为、学习动态和参数更新提供了系统理解，表明OPD扩展了学生对教师支持解决方案的覆盖，而RL则在此支持内进行精细化。我们的研究结果确立了OPD-then-RL作为一种简单而有效的结合两种方法的方式，将两个纠缠的信号转化为互补的阶段。

🔬 方法详解

问题定义：本文旨在解决现有OPD与RLVR结合方法中信号干扰的问题，导致推理性能不佳。

核心思路：提出OPD-then-RL的两阶段方案，先通过OPD扩展学生的解决方案覆盖，再通过RL进行精细化优化，从而避免信号干扰。

技术框架：整体流程包括两个主要阶段：第一阶段为OPD，利用密集的标记级监督扩展学生的知识覆盖；第二阶段为RL，通过稀疏奖励进行精细化学习。

关键创新：OPD-then-RL方法是将OPD与RLVR有效结合的创新方案，区别于以往的加权组合或调制重标定方法，避免了信号干扰。

关键设计：在参数设置上，OPD验证分数被确定为切换到RL的关键信号，且OPD在冷启动时优于传统的SFT方法。实验中采用了多种基准测试以验证效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，OPD-then-RL方法在逻辑和数学推理基准测试中相较于纯OPD和纯RLVR均有显著提升，具体表现为在多个测试中均超过了基线模型，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的推理任务，如逻辑推理和数学问题解决等。通过提高模型的推理能力，能够在教育、金融、法律等多个行业中实现更高效的自动化决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) and on-policy distillation (OPD) have emerged as two dominant methods for post-training reasoning LLMs. Prior work uses OPD's dense token-level supervision to complement the sparse RL reward, fusing the two signals within a single step: either as a \emph{weighted-additive combination} or a \emph{teacher-modulated rescaling} of the RL advantage. In this paper, we show that a simple two-stage scheme, OPD-then-RL, consistently outperforms pure OPD, pure RLVR, and all such joint baselines across logic and math reasoning benchmarks. Beyond the empirical results, we further provide a systematic understanding of this through pass@$k$ behavior, learning dynamics, and parameter updates, yielding a consistent explanation: OPD expands the student's coverage of teacher-supported solutions and RL sharpens within that support, while jointly optimizing the two signals causes them to interfere. To provide a practical recipe, we find that the OPD validation score is the key signal for when to switch to RL, and that OPD is a better cold start for RL than SFT. Together, our results establish OPD-then-RL as a simple yet strong way to combine the two methods, turning two entangled signals into complementary stages.