Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning

📄 arXiv: 2607.18722v1 📥 PDF

作者: Junyao Yang, Yucheng Shi, Zongxia Li, Zhongzhi Li, Ruhan Wang, Xiangxin Zhou, Kishan Panaganti, Haitao Mi, Leowei Liang

分类: cs.LG, cs.CL

发布日期: 2026-07-21

备注: 28 pages, 9 figures, 9 tables

💡 一句话要点

提出Staleness-Adaptive Trust Region以解决异步强化学习中的更新不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异步强化学习 过时性 信任区域 自适应剪辑 策略优化 稳定性提升 机器学习 深度学习

📋 核心要点

  1. 异步强化学习中的过时性问题导致训练与推理之间的差异，影响更新的稳定性和有效性。
  2. 提出的SAT方法通过使用采样的对数比率作为过时性代理，动态调整更新策略以应对不匹配情况。
  3. 实验结果显示，SAT在不同滞后条件下的性能优于传统方法，特别是在AIME24指标上取得了显著提升。

📝 摘要（中文）

异步强化学习通过将回滚生成与优化解耦来提高吞吐量，但不可避免地会产生过时性问题，导致策略滞后和引擎延迟。本文提出了一种新的Staleness-Adaptive Trust Region (SAT)方法，利用采样的对数比率作为过时性的代理，识别每批次中的高不匹配尾部，并仅收缩名义PPO区间的符号选择端点。通过在异步环境中进行评估，SAT在不同滞后情况下表现出色，显著提高了稳定性。

🔬 方法详解

问题定义：本文旨在解决异步强化学习中由于过时性导致的训练与推理不一致问题。现有方法在高过时性更新时控制效果不足，影响了学习的稳定性和效率。

核心思路：论文提出的SAT方法通过引入采样的对数比率作为过时性代理，识别并收缩高不匹配的更新，从而在保持基线行为的同时，增强对新拦截的更新的保守性。

技术框架：SAT方法的整体架构包括三个主要模块：首先，利用过时性核缩放识别每批次中的高不匹配尾部；其次，收缩名义PPO区间的符号选择端点；最后，实施自适应剪辑以稳定更新过程。

关键创新：SAT的主要创新在于其动态调整更新几何形状的能力，特别是在异步环境中，通过适应性规则有效地应对不同的过时性水平，与传统的PPO方法形成鲜明对比。

关键设计：在设计中，SAT方法采用了自适应剪辑和路由重放策略，以针对不匹配尾部和路由不一致性进行补充稳定化，确保在高滞后情况下的更新仍然有效。具体的参数设置和损失函数设计在实验中经过精心调优，以达到最佳性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，SAT-GSPO在滞后1时达到了35.83的AIME24平均值，在滞后8时为34.79，而SAT-GSPO在滞后1时的表现为34.17。自适应剪辑和路由重放策略有效地稳定了更新过程，显著提升了异步强化学习的性能。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等需要实时决策的场景。通过提高异步强化学习的稳定性，SAT方法能够在复杂环境中实现更高效的学习和决策，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Asynchronous reinforcement learning improves throughput by decoupling rollout generation from optimization, but staleness is an inevitable byproduct compounded by policy lag, engine delays, and mixture-of-experts routing. From a trust-region perspective, this mismatch is critical: training-inference divergence governs approximation error in finite-horizon bounds, whereas PPO clipping only gates sampled outward updates, acting as a sampled surrogate rather than a full-policy constraint. As a result, high-staleness updates remain weakly controlled in the asynchronous regime where stale rollouts matter most. We introduce the Staleness-Adaptive Trust Region (SAT), which uses the detached sampled log-ratio as a practical staleness proxy, identifies high-mismatch tails within each batch via staleness-based kernel scaling, and contracts only the sign-selected endpoint of the nominal PPO interval. This preserves baseline behavior on ordinary tokens while enforcing more conservative updates on newly intercepted outward bands. We prove local interval containment and pointwise pessimism relative to PPO, showing how the adaptive rule reshapes update geometry under heterogeneous staleness. We evaluate SAT in a decoupled asynchronous RL setup built on Qwen3-30B-A3B-Base, using SGLang as the inference engine and Megatron for training. In this setting, SAT-GSPO w/ R3 achieves the best observed AIME24 avg@8, reaching 35.83 at lag 1 and 34.79 at lag 8, while SAT-GSPO reaches 34.17 at lag 1. Adaptive clipping and routing replay act as complementary stabilizers targeting mismatch tails and routing inconsistency, respectively. Overall, aligning clip intervals with staleness heterogeneity effectively stabilizes asynchronous RL.