COPC: Coupled Off-Policy Correction for Asynchronous LLM Reinforcement Learning

📄 arXiv: 2610.09597v1 📥 PDF

作者: Zicheng Hu, Zhijian Zhou, Xuan Zhang, Yuchen Liu, Cheng Chen, Yuan Li, Qi Gu, Yan Feng, Hongyan Hao, Chao Qu

分类: cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出COPC以解决异步LLM强化学习中的策略与优势估计不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异步强化学习 大语言模型 策略修正 优势估计 数学推理 信息检索 训练稳定性 COPC

📋 核心要点

  1. 现有异步强化学习方法在使用过时轨迹进行训练时，容易导致策略与优势估计之间的不匹配，影响学习效果。
  2. 本文提出COPC方法，通过协调策略和优势侧的修正，结合令牌级比率掩蔽与双侧剪切比率加权，提升了学习的准确性。
  3. COPC在工具集成的数学推理和搜索任务中取得了最高的性能，且在64步策略过时情况下依然保持稳定，超越了所有评估的异步基线。

📝 摘要（中文）

异步强化学习通过将回滚生成与优化解耦，加速了大语言模型的后训练，但存在使用过时轨迹的问题。现有方法主要通过重要性比率控制来修正策略级别的不匹配，然而仅依靠这种策略侧修正是不够的，因为优势估计也会受到行为策略延续的影响，导致优势过时。本文提出了Coupled Off-Policy Correction（COPC），一种结合了令牌级比率掩蔽和双侧剪切比率加权的演员-评论家方法，旨在协调策略和优势侧的修正。实验结果表明，COPC在工具集成的数学推理和搜索任务中表现优异，超越了现有最强的异步基线，并在训练稳定性和参数区域方面也有显著提升。

🔬 方法详解

问题定义：本文旨在解决异步强化学习中由于使用过时轨迹而导致的策略与优势估计不匹配的问题。现有方法主要集中在策略级别的修正，但未能充分考虑优势估计的影响，造成了学习效果的下降。

核心思路：COPC方法的核心在于协调策略和优势侧的修正，通过结合令牌级比率掩蔽和双侧剪切比率加权，来同时优化策略和优势估计，从而减少它们之间的相互影响。

技术框架：COPC的整体架构包括两个主要模块：策略更新模块和优势估计模块。策略更新模块使用双侧剪切比率加权来修正策略，而优势估计模块则通过令牌级比率掩蔽来提高优势估计的准确性。

关键创新：COPC的创新之处在于提出了策略和优势侧修正的耦合机制，克服了现有方法中策略与优势估计之间的非分离耦合问题，显著提升了学习的稳定性和性能。

关键设计：在参数设置上，COPC通过联合参数扫描来优化修正参数，确保在不同的过时水平下，修正效果能够相互依赖并产生正向反馈。损失函数设计上，采用了双侧剪切比率加权的TD残差，以提高优势估计的稳定性。网络结构上，保持了与异步PPO相似的架构，确保了计算效率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

COPC在工具集成的数学推理和搜索任务中表现出色，超越了所有评估的异步基线，且在64步策略过时情况下依然保持稳定。与异步PPO相比，COPC在训练过程中仅增加了最小的时间开销，同时保持了1.7倍的步骤时间加速。

🎯 应用场景

COPC方法在大语言模型的后训练中具有广泛的应用潜力，尤其是在需要高效处理复杂任务的场景，如数学推理和信息检索等。通过提高训练的稳定性和准确性，COPC能够为实际应用提供更可靠的支持，推动智能系统的进一步发展。

📄 摘要（原文）

Asynchronous RL accelerates large language model post-training by decoupling rollout generation from optimization, but trains on stale trajectories. Existing methods primarily correct token-level policy mismatch through importance-ratio control in the actor objective. We show that this \emph{policy-side correction} alone is insufficient: advantage estimates also inherit mismatch from behavior-policy continuations, which we term \emph{advantage staleness}. We derive exact bias and variance decompositions for a general two-channel actor update, revealing nonseparable coupling between policy-weight and advantage-estimation errors: their interaction induces multiplicative bias terms, while squared policy weights amplify advantage uncertainty in gradient variance. This motivates the hypothesis that policy- and advantage-side correction should be coordinated. We introduce Coupled Off-Policy Correction (COPC), an actor--critic method combining token-level ratio masking with two-sided clipped-ratio weighting of TD residuals for return and advantage estimation. Joint parameter sweeps across staleness levels support this hypothesis: the effect of one correction parameter depends on, and can reverse with, the other. COPC achieves the highest reported performance on tool-integrated mathematical reasoning and search, outperforming the strongest reported asynchronous baseline in each setting. It also offers a broad high-performing parameter region and improved training stability. In search, COPC remains stable throughout training, while most evaluated asynchronous baselines collapse late in training. These gains persist at 64-step policy staleness. COPC adds minimal step-time overhead over asynchronous PPO and retains a $1.7\times$ step-time speedup over synchronous PPO.