ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning

📄 arXiv: 2609.35433v1 📥 PDF

作者: Yihang Chen, Yuanhao Ban, Cho-Jui Hsieh

分类: cs.LG, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出ReSPO以解决离线学习中的梯度饥饿问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 策略优化 梯度饥饿 离线学习 深度学习 模型优化 重要性权重

📋 核心要点

  1. 现有的强化学习方法在多次策略更新中重用回放数据，导致当前策略与数据生成策略之间的失配，进而引发梯度饥饿问题。
  2. 本文提出ReSPO，通过引入平滑的双分支序列级内核，替代传统的剪切机制，以更好地处理正负响应的梯度问题。
  3. 实验结果显示，ReSPO在密集和MoE Qwen3模型上加速了早期优化，提升了最终训练得分，并在回放重用下实现了更高的基准性能。

📝 摘要（中文）

强化学习中的可验证奖励（RLVR）常常在多次策略更新中重用回放数据，这导致当前策略与数据生成策略之间的失配。本文识别出在剪切策略优化中存在的符号依赖梯度饥饿问题：剪切抑制了低重要性权重尾部的正响应，而允许严重过生成的负响应主导高权重尾部。为此，本文提出了ReSPO（重塑序列策略优化），用平滑的双分支序列级内核替代剪切，该内核源自α-散度变分目标和指数方差控制倾斜。正分支为低生成的正响应保留非零梯度权重，而负分支则抑制严重过生成的负响应。实验表明，ReSPO在早期训练中有效学习长正推理轨迹，即使在累积策略漂移使其降至低重要性权重尾部的情况下。

🔬 方法详解

问题定义：本文旨在解决离线强化学习中由于重用回放数据导致的梯度饥饿问题。现有方法在剪切策略优化中，低重要性权重的正响应被抑制，而高权重尾部的负响应则被过度生成，导致学习效率低下。

核心思路：ReSPO通过引入一个平滑的双分支序列级内核，替代传统的剪切机制。正分支保留低生成正响应的非零梯度权重，负分支则抑制过生成的负响应，从而改善梯度流动。

技术框架：ReSPO的整体架构包括两个主要模块：正分支和负分支。正分支负责处理低生成的正响应，确保其在优化过程中能够贡献梯度；负分支则通过抑制过生成的负响应，减少其对学习过程的干扰。

关键创新：ReSPO的核心创新在于其双分支设计，能够有效地解决传统剪切方法带来的梯度饥饿问题。这种设计使得模型在面对不平衡的正负响应时，能够更好地进行学习。

关键设计：在ReSPO中，采用了α-散度变分目标和指数方差控制倾斜作为内核设计的基础。具体的损失函数和网络结构细节未在摘要中详细说明，需参考原文获取更多信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，ReSPO在密集和MoE Qwen3模型上显著加速了早期优化，最终训练得分提高，并在回放重用的情况下实现了更高的基准性能，验证了其在重要性权重尾部控制中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体和自动驾驶等需要高效学习的强化学习场景。通过改善策略优化过程，ReSPO有望提升这些领域中智能体的学习效率和决策能力，进而推动相关技术的发展。

📄 摘要（原文）

Reinforcement learning from verifiable rewards (RLVR) frequently reuses rollouts across multiple policy updates, increasing the mismatch between the current policy and the data-generating policy. We identify a sign-dependent gradient starvation problem in clipped policy optimization: clipping suppresses under-generated positive responses at the low-importance-weight tail while permitting severely over-generated negative responses to dominate the high-weight tail. To address this, we propose ReSPO (Reshaped Sequence Policy Optimization), which replaces clipping with a smooth, two-branch sequence-level kernel derived from an $α$-divergence variational objective and an exponential variance-control tilt. The positive branch preserves a nonzero gradient weight for under-generated positive responses, while the negative branch suppresses heavily over-generated negative responses. We demonstrate that ReSPO effectively learns from long positive reasoning trajectories during early training, even when accumulated policy drift relegates them to the low-importance-weight tail. On dense and MoE Qwen3 models, ReSPO accelerates early optimization, improves final training scores, and achieves higher held-out benchmark performance under a rollout reuse, validating our approach on importance-weight tail control in off-policy learning.