Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

📄 arXiv: 2607.07508v1 📥 PDF

作者: Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

分类: cs.LG, cs.AI

发布日期: 2026-07-08

💡 一句话要点

提出单次回合异步优化以解决强化学习稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 异步优化 单次回合采样 模型训练 智能代理 在线学习 长时间跨度任务

📋 核心要点

  1. 现有的异步强化学习方法在训练稳定性和任务有效性方面存在不足，尤其是在长时间跨度的智能任务中。
  2. 本文提出单次回合异步优化（SAO），通过单次回合采样来减少离策略效应，提升模型的泛化能力。
  3. SAO在多个基准测试中表现优异，能够稳定训练一千步，并在模拟在线学习环境中展现出良好的适应性。

📝 摘要（中文）

强化学习（RL）在后训练的大型语言模型（LLMs）中变得越来越重要。以往的RL流程主要是同步和批量交错的，这在长时间跨度的智能任务中效率较低。近期，异步RL作为一种更高效的替代方案出现，但现有的异步RL系统往往强调吞吐量，而忽视了训练的稳定性和任务的有效性。本文提出单次回合异步优化（SAO），通过单次回合采样替代组采样，解决异步RL中的稳定性和离策略挑战。SAO在多个智能编码和推理基准上表现优于GRPO及其变种，并在模拟在线学习环境中表现出色。

🔬 方法详解

问题定义：本文旨在解决现有异步强化学习方法在训练稳定性和任务有效性方面的不足，特别是在长时间跨度的智能任务中，组采样不适合异步训练。

核心思路：通过引入单次回合采样，SAO能够减少离策略效应并提升模型的泛化能力，同时结合实用的价值模型训练设计，增强优化的稳定性。

技术框架：SAO的整体架构包括单次回合采样模块、价值模型训练模块和双侧令牌级裁剪策略。每个模块协同工作，以确保模型在异步更新时的稳定性和有效性。

关键创新：SAO的核心创新在于采用单次回合采样替代传统的组采样，这一设计使得模型在异步训练中能够更好地适应任务需求，显著提高了训练的稳定性和效果。

关键设计：在SAO中，采用严格的双侧令牌级裁剪策略，以确保训练过程中的稳定性。此外，价值模型的训练设计也经过优化，以适应单次回合的采样方式。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAO在多个智能编码和推理基准上表现优于GRPO及其变种，能够稳定训练一千步，并在模拟在线学习环境中展现出良好的适应性，证明了单次回合RL的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练、智能代理系统的开发以及动态环境下的在线学习。SAO方法的提出为强化学习在复杂任务中的应用提供了新的思路，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).