Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards

📄 arXiv: 2610.11519v1 📥 PDF

作者: Xiaobing Chen, Zhiqi Pang

分类: cs.CL

发布日期: 2026-10-08

💡 一句话要点

提出Residual Advantage以优化RLVR中的教师指导问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 可验证奖励 教师指导 在线蒸馏 概率模型 序列优势算法 数学基准 模型优化

📋 核心要点

  1. 现有的RLVR和OPD方法在教师与学生之间的指导信号传递上存在不足，未能有效反映学生的解题路径与教师的偏差。
  2. 本文提出Residual Advantage（ extit{RA}），通过将教师与学生的概率残差作为奖励，优化了教师对学生的指导方式。
  3. 实验结果显示， extit{RA}结合GRPO或REINFORCE++在24个比较中均提升了性能，宏观Avg@8提高了1.7至3.6分，Pass@8提高了3.9至6.3分。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）和在线蒸馏（OPD）已成为后训练推理模型的两大主要范式。RLVR为每个响应提供单一结果标签，但未能对内部步骤进行单独信用分配。OPD在学生访问的前缀上提供令牌级指导，但其点对点信号未能直接反映教师与学生在词汇上的不一致模式。为此，本文提出Residual Advantage（ extit{RA}），将教师与学生的概率残差视为有界的一步奖励，并通过减去学生策略下的状态值形成标准优势。实验表明， extit{RA}结合GRPO或REINFORCE++在多个数学基准上显著提升了序列优势算法的性能。

🔬 方法详解

问题定义：本文旨在解决现有RLVR和OPD方法在教师与学生之间指导信号传递不充分的问题，尤其是在学生的解题路径与教师的偏差未能有效反映时。

核心思路：提出Residual Advantage（ extit{RA}），将教师与学生的概率残差视为有界的一步奖励，并通过减去学生策略下的状态值形成标准优势，从而优化教师对学生的指导。

技术框架：整体架构包括教师与学生的概率模型，利用 extit{RA}计算奖励，并在每次迭代中更新教师模型以适应学生的尝试。主要模块包括奖励计算、教师更新和学生策略优化。

关键创新： extit{RA}的核心创新在于将教师与学生的概率残差作为有界奖励，且在每个响应内保持零均值，从而确保验证者优势保持响应的均值标签，重新分配内部步骤的信用。

关键设计：在参数设置上， extit{RA}结合了GRPO或REINFORCE++，并在同一评分学生批次上更新教师LoRA，确保指导适应学生的解题尝试。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示， extit{RA}结合GRPO或REINFORCE++在24个比较中均提升了性能，宏观Avg@8提高了1.7至3.6分，Pass@8提高了3.9至6.3分，且所有组合均超越了仅使用教师的OPD， extit{CoRA}进一步增加了1.0至1.5 Avg@8分。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和教育技术等。通过优化教师对学生的指导方式，可以提升模型在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) and on-policy distillation (OPD) have become two main paradigms for post-training reasoning models. RLVR gives each response a single outcome label, leaving the steps inside it without separate credit. OPD provides token-level guidance at student-visited prefixes, but its pointwise signal does not directly reflect the pattern of teacher--student disagreement across the vocabulary. Dense, unbounded log-ratio supervision can amplify the teacher's influence, yet a strong solver is not necessarily a suitable guide when the student's solution paths depart from the teacher's. We propose Residual Advantage (\RA{}), which treats the teacher--student probability residual as a bounded one-step reward, subtracts the corresponding state value under the student policy to form a standard advantage, and centers the result within each response before adding it to the verifier advantage. The guidance term has zero mean within each response, so the verifier advantage remains the response's mean label and the teacher only redistributes credit among the steps within it. \CoRA{} further updates a teacher LoRA with verifier advantages on the same scored student batch and uses the updated teacher in the next iteration's residual, adapting guidance to the student's attempts. With Qwen3-1.7B-Base and Qwen3-4B-Base students and a Qwen3-8B teacher, \RA{} combined with GRPO or REINFORCE++ improves the underlying sequence-advantage algorithm in all 24 comparisons on three mathematical benchmarks, raising macro Avg@8 by 1.7--3.6 points and Pass@8 by 3.9--6.3 points. Both combinations surpass teacher-only OPD, and \CoRA{} adds a further 1.0--1.5 Avg@8 points.