Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization

📄 arXiv: 2610.18738v1 📥 PDF

作者: Hao Bai, Jiarui Yao, Tong Zhang

分类: cs.LG

发布日期: 2026-10-13

💡 一句话要点

提出Proximal KL方法以解决离线强化学习中的重要性采样问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 重要性采样 KL正则化 策略优化 机器学习

📋 核心要点

  1. 现有的离线强化学习方法在处理异步生成和响应重用时存在重要性采样偏差问题，影响策略优化效果。
  2. 论文提出Proximal KL方法，通过将近端参考与采样策略分离，利用未来KL信用替代PPO剪切，解决了重要性加权带来的偏差。
  3. 实验结果表明，Proximal KL在多个数学基准测试中相较于GRPO提高了微平均准确性，且在训练准确性和更新效率上表现优异。

📝 摘要（中文）

在具有可验证奖励的强化学习（RLVR）中，离线数据可能由于异步生成、训练不匹配和响应重用而产生。论文提出的基于Token的重要性加权方法避免了在响应中乘以似然比，但通常会导致策略梯度的偏差。研究证明，在覆盖和局部表达条件下，完整的未来KL信用使得精确的近端优化器成为更新的唯一平稳策略。通过一系列实验，Proximal KL方法在多个基准测试中表现优于现有方法GRPO，展示了其在微平均准确性上的显著提升。

🔬 方法详解

问题定义：本论文旨在解决离线强化学习中由于异步生成和响应重用导致的重要性采样偏差问题。现有方法在处理这些问题时，往往会引入额外的复杂性和不稳定性，影响策略的优化效果。

核心思路：论文提出的Proximal KL方法通过将近端参考与采样策略分离，利用完整的未来KL信用来优化策略，从而避免了传统方法中由于重要性加权引入的偏差。这种设计使得策略更新更加稳定和有效。

技术框架：Proximal KL方法的整体架构包括数据采样、策略更新和KL信用计算三个主要模块。首先，通过异步生成的数据进行采样，然后根据未来KL信用进行策略更新，最后确保更新过程中的稳定性和收敛性。

关键创新：论文的主要创新在于引入了基于Token的重要性加权和未来KL信用的结合，显著提高了策略优化的准确性和稳定性。这一方法与传统的PPO剪切方法本质上不同，避免了全响应权重的需求。

关键设计：在设计中，论文采用了线性逻辑模型的有限样本奖励保证，并在参数设置上进行了细致的调优，以确保在不同的学习率和响应重用情况下，Proximal KL方法能够保持高效的训练和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在七个匹配的离线比较实验中，Proximal KL在微平均准确性上相较于GRPO提高了最多2.58%。在周期性刷新实验中，该方法避免了PG和CISPO观察到的崩溃现象，并在较少的策略更新中达到了更高的准确性，显示出其优越的训练效率。

🎯 应用场景

该研究的Proximal KL方法在离线强化学习领域具有广泛的应用潜力，尤其适用于需要处理异步数据和响应重用的场景，如机器人控制、游戏智能体和自动驾驶等。其稳定的策略优化能力将推动这些领域的进一步发展和应用。

📄 摘要（原文）

Off-policy data in reinforcement learning with verifiable rewards (RLVR) can arise from asynchronous generation, rollout-training mismatch, and response reuse. Token-wise importance weighting avoids multiplying likelihood ratios across a response but generally biases policy gradients. We prove that, under coverage and local expressiveness conditions, full future KL credit makes the exact proximal optimizer the update's unique stationary policy, even for mixtures of older policies, without full-response weights or a fitted critic. We further establish convergence of continuous-time tabular population updates under persistent coverage and time-varying behavior policies, and a finite-sample reward guarantee for linear logistic models under additional assumptions. These results motivate Proximal KL, a practical off-policy RLVR method that separates the proximal reference from the sampling policy and replaces PPO clipping with bounded future KL credit. Across all seven matched off-policy comparisons on Qwen3-1.7B and Qwen3-4B, spanning two learning rates, response reuse, and rollout staleness, Proximal KL outperforms GRPO in micro-averaged accuracy over eight math benchmarks by up to 2.58%. A separate on-policy comparison yields comparable aggregate accuracy. In periodic-refresh experiments, Proximal KL avoids the collapses observed in PG and CISPO, exceeds GRPO's training accuracy, and reaches higher accuracy in fewer policy updates. Ablations show that token-wise correction outperforms sequence-level and unweighted controls. With token-wise correction retained, future KL feedback reduces sensitivity to the tested baseline perturbation relative to PPO clipping. A finite future horizon improves AIME24 mean@16 and pass@16 over the full tail, while fixed-policy measurements show that truncation reduces correction variance over the tested horizons.