ThunderSyncRL: Lossless Acceleration of Agentic Reinforcement Learning

📄 arXiv: 2610.05935v1 📥 PDF

作者: Seil Kang, Hangoo Kang, Tarun Suresh, Youngeun Kim, Shreyas Pimpalgaonkar, Seong Jae Hwang, Azalia Mirhoseini

分类: cs.LG, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出ThunderSyncRL以解决强化学习中的同步效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 异步训练 策略优化 梯度计算 高效训练

📋 核心要点

  1. 现有的同步训练方法在回滚和验证期间导致学习引擎闲置，影响效率。
  2. ThunderSyncRL通过在输入固定后立即开始梯度计算，消除了策略过时的问题。
  3. 实验结果显示，ThunderSyncRL在多个基准测试中训练速度提高了最多1.9倍，并且在固定预算下表现优于异步训练。

📝 摘要（中文）

语言模型正逐步从生成答案转向在交互环境中追求长远目标。后训练这些智能体需要长时间的异构轨迹，而同步系统在回滚和验证完成之前使学习引擎处于闲置状态。为了解决这些管道空白，异步训练在更新过程中重叠回滚和学习，但代价是策略的过时。我们提出ThunderSyncRL，它在所有必要输入固定后立即开始梯度计算，避免了策略过时。对于群体相对策略优化（GRPO），ThunderSyncRL在每个轨迹的奖励到达后立即计算该轨迹的得分梯度，而无需等待群体。实验表明，ThunderSyncRL在SWE-bench Verified和Terminal Bench 4.0上训练模型的速度比同步训练快最多1.9倍，并且在固定预算下，ThunderSyncRL的表现优于异步训练，提升幅度达到2.47个百分点。

🔬 方法详解

问题定义：本论文旨在解决强化学习中同步训练导致的效率低下问题，现有方法在回滚和验证期间使学习引擎处于闲置状态，影响了训练速度和策略更新的及时性。

核心思路：ThunderSyncRL的核心思想是，在所有必要输入固定后，立即开始梯度计算，从而避免策略过时的问题。这种设计允许在不牺牲策略更新质量的情况下，提高训练效率。

技术框架：ThunderSyncRL的整体架构包括两个主要模块：群体相对策略优化（GRPO）和在线策略蒸馏（OPD）。在GRPO中，每个轨迹的得分梯度在奖励到达后立即计算，而在OPD中，针对每个完成的智能体回合的教师评分动作计算梯度，同时工具调用在沙箱中运行。

关键创新：ThunderSyncRL的最重要创新在于其梯度流技术，能够在不改变目标的情况下，产生与批量同步训练相同的GRPO和OPD更新。这一创新使得训练过程更加高效，避免了策略过时的影响。

关键设计：在技术细节方面，ThunderSyncRL采用了流式梯度计算方法，确保在奖励到达时立即更新梯度。此外，设计中还考虑了不同的参数设置，以优化训练过程中的资源利用率。通过这些设计，ThunderSyncRL实现了高效的训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ThunderSyncRL在SWE-bench Verified和Terminal Bench 4.0上训练模型的速度比传统同步训练快最多1.9倍，同时在固定预算下的表现优于异步训练，提升幅度达到2.47个百分点。这些实验结果表明，ThunderSyncRL在强化学习领域的有效性和优势。

🎯 应用场景

ThunderSyncRL的研究成果在多个领域具有潜在应用价值，尤其是在需要高效决策和实时反馈的智能体系统中，如自动驾驶、机器人控制和游戏AI等。其高效的训练方法可以显著提升智能体在复杂环境中的表现，推动相关技术的发展和应用。

📄 摘要（原文）

Language models are moving beyond generating answers to pursuing long-horizon goals in interactive environments. Post-training these agents requires long, heterogeneous trajectories, and synchronous systems leave learner engines idle until rollout and verification finish. To squeeze out these pipeline bubbles, asynchronous training overlaps rollout and learning across updates, but comes at the cost of policy staleness. We introduce ThunderSyncRL, which starts gradient computation as soon as all required inputs are fixed, without policy staleness. For group relative policy optimization (GRPO), ThunderSyncRL computes each trajectory's score gradient as soon as the reward for that trajectory arrives, without waiting for the group. For on-policy distillation (OPD), it computes gradients for each completed agentic turn's teacher-scored actions while tool calls run in the sandbox. We prove that gradient streaming produces the same GRPO and OPD updates as batch-synchronous training, without changing either objective. On SWE-bench Verified and Terminal Bench 4.0, we train models to the same performance up to $1.9 \times$ faster than synchronous training. With zero policy staleness, ThunderSyncRL also outperforms asynchronous training at a fixed budget by up to $2.47$ percentage points.