SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation

📄 arXiv: 2609.36742v1 📥 PDF

作者: Zhenrui Yue, Huimin Zeng, Yueqi Wang, Yaokun Liu, Fengran Mo, Jinghan Zhang, Mung Yao Jia, Gyuseok Lee, Yang Zhang, Na Wei, Dong Wang

分类: cs.AI, cs.CL

发布日期: 2026-09-29

💡 一句话要点

提出SIPO以解决稀疏奖励下的自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 自蒸馏 对比学习 语言模型 推理任务 代码生成 密集反馈

📋 核心要点

  1. 现有的强化学习方法在处理稀疏奖励时，无法有效进行逐步信用分配，导致学习效率低下。
  2. 论文提出的SIPO通过对比自教师的方式，利用环境奖励和错误配对生成密集的学习信号，改善了学习过程。
  3. 实验结果表明，SIPO在多个推理和代码生成基准上超越了RLVR和OPSD基线，且无需外部教师或额外生成。

📝 摘要（中文）

具有可验证奖励的强化学习（RLVR）已成为提升大型语言模型（LLMs）在多任务上的标准范式，但其稀疏的结果奖励缺乏对中间步骤的逐步信用分配。为了解决这一问题，论文提出了自指导策略优化（SIPO），通过对比自教师提供更密集的学习信号。SIPO在每次迭代中从当前策略中为每个提示采样多个回合，并通过环境奖励对其进行评分，构建两个教师上下文。模型在这两个上下文下重新评估自身响应，利用两个教师对数概率之间的差异作为逐标记反馈。该方法在保持任务奖励直接优化的同时，提供了密集的逐标记反馈，成功地将强化学习与自蒸馏结合起来。

🔬 方法详解

问题定义：论文要解决的问题是如何在稀疏奖励的强化学习环境中有效进行逐步信用分配。现有的OPSD方法由于自教师的过度自信，常常在长推理轨迹中施加过多惩罚，从而导致学习困难。

核心思路：SIPO的核心思路是通过对比自教师提供密集的学习信号。通过在每次迭代中采样多个回合并构建教师上下文，模型能够在不同上下文下重新评估自身的响应，从而获得更精确的反馈。

技术框架：SIPO的整体架构包括多个模块：首先从当前策略中为每个提示采样多个回合；然后使用环境奖励对这些回合进行评分；接着构建两个教师上下文，通过配对参考答案与错误生成的上下文；最后，模型在这两个上下文下重新评估自身的响应。

关键创新：SIPO的主要创新在于通过对比自教师的方式实现了逐标记的反馈分配，解决了传统方法中自教师过度自信的问题。这种设计使得在每个回合中都能获得有效的学习信号，即使在所有回合失败的情况下也能提供反馈。

关键设计：在关键设计上，SIPO利用环境奖励作为主要更新方向，同时通过教师上下文的对比来重新分配信用。损失函数的设计确保了反馈的有效性，网络结构则支持多回合的采样与评估。整体设计旨在保持任务奖励的直接优化，同时增强学习信号的密集性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SIPO在多个推理和代码生成基准上显著优于RLVR和OPSD基线，提升幅度达到XX%（具体数据未知），且无需依赖外部教师或额外生成，展现了其优越的学习能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成和其他需要推理的任务。通过提供更有效的学习信号，SIPO能够提升大型语言模型在复杂任务中的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has become a standard paradigm for improving large language models (LLMs) on various tasks, yet its sparse outcome rewards lack token-level credit assignment for intermediate steps. To address this, on-policy self-distillation (OPSD) leverages a self-teacher with privileged context to provide additional dense learning signals. However, because the self-teacher is often overconfident and imposes excessive penalties on long reasoning trajectories, OPSD frequently struggles in practice. To mitigate this, we propose self-instructing policy optimization (SIPO) with a contrastive self-teacher to provide dense credit. At each iteration, SIPO samples multiple rollouts per prompt from the current policy, scores them with environment rewards, and constructs two teacher contexts for each rollout by pairing the reference answer with mistakes made within the group. The model then re-evaluates its own responses under both contexts, using the difference between the two teacher log-probabilities as token-level feedback, so that biases shared by both contexts are expected to largely cancel. The resulting objective yields a token-level advantage for every rollout: the reward still sets the main direction of each update while the self-teacher redistributes credit across tokens. Even in groups where every rollout fails and group-relative advantages vanish, SIPO still provides a learning signal. By preserving direct optimization of the task reward while providing dense, token-level feedback, this approach bridges reinforcement learning and on-policy self-distillation. Extensive experiments across multiple reasoning and code-generation benchmarks demonstrate that SIPO outperforms both RLVR and OPSD baselines without an external teacher or additional generation.