ReFlow: Replay-Driven Decoupling for Efficient RL Post-Training

📄 arXiv: 2610.21640v1 📥 PDF

作者: Yukun Tian, Junwei Su, Haofeng Xu, Lansong Diao, Zhengping Qian, Weibo Zhao, Wenchao Zhou, Ruiting Zhou, Chuan Wu

分类: cs.LG, cs.DC

发布日期: 2026-10-15

💡 一句话要点

提出ReFlow以解决RL后训练效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 后训练 样本重用 动态资源分配 模型优化 智能代理 对话系统

📋 核心要点

  1. 现有的RL方法在效率上存在瓶颈，异步执行虽然提高了效率，但面临策略过时和模型质量下降的问题。
  2. ReFlow通过重放最近的轨迹实现样本重用，采用解耦和自适应架构来提高LLM后训练的效率。
  3. 实验结果显示，ReFlow在训练吞吐量上比现有RL系统提高了最多2.06倍，同时保持了模型性能的稳定性。

📝 摘要（中文）

强化学习（RL）在提升大型语言模型（LLM）推理和智能能力方面至关重要，但其效率仍然是一个主要瓶颈。现有的RL系统通常依赖异步执行来重叠回合生成与策略优化，从而提高效率。然而，这种方法存在固有的局限性：温和的策略过时仅能提供有限的训练效率提升，而激进的异步性可能会降低模型质量并导致效率收益递减。本文提出ReFlow，一个系统-算法协同设计的RL框架，通过重放最近的轨迹实现有效的样本重用，从而降低回合生成的高成本，同时避免过度的策略过时。实验表明，ReFlow在代表性的单回合推理和多回合智能RL任务中，训练吞吐量比最先进的同步和异步RL系统提高了最多2.06倍，同时保持了相当或更好的模型性能。

🔬 方法详解

问题定义：本文旨在解决现有强化学习系统在后训练阶段效率低下的问题，尤其是在资源需求动态变化的情况下，静态资源分配和生成策略显得不够高效。

核心思路：ReFlow的核心思路是通过重放最近的轨迹来实现有效的样本重用，从而降低回合生成的高成本，同时避免过度的策略过时。

技术框架：ReFlow采用解耦和自适应的架构，主要包括三个模块：双重重放数据循环、弹性资源池和自适应调度器，分别支持经验重用、动态资源分配和生成策略协调。

关键创新：ReFlow的最大创新在于其双重重放数据循环设计，能够在提高训练吞吐量的同时保持优化的稳定性，这与现有方法一次性消耗每条轨迹的方式形成了本质区别。

关键设计：ReFlow的设计包括动态调整的资源池，以适应不断变化的RL工作负载，以及自适应调度器来优化资源利用率和生成吞吐量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ReFlow在单回合推理和多回合智能RL任务中，训练吞吐量比最先进的同步和异步RL系统提高了最多2.06倍，同时保持了模型性能的稳定性，显示出其在效率与效果上的优越性。

🎯 应用场景

ReFlow的研究成果可广泛应用于需要高效后训练的强化学习任务，如对话系统、智能代理和复杂决策支持系统等领域。通过提高训练效率，ReFlow能够加速模型的迭代与优化，推动智能系统的实际应用与发展。

📄 摘要（原文）

Reinforcement learning (RL) has been a critical paradigm for improving large language model (LLM) reasoning and agentic capabilities, but its efficiency remains a major bottleneck. Existing RL systems commonly rely on asynchronous execution to overlap rollout generation with policy optimization for enhanced efficiency. However, this approach faces inherent limitations: mild policy staleness offers only limited training efficiency gains, whereas aggressive asynchrony can degrade model quality and yields diminishing efficiency gains. The dynamic nature of LLM RL and multi-turn agentic workloads further challenges RL system design, as resource demands shift over time, making static resource allocation and generation strategy inefficient. This paper presents ReFlow, a system-algorithm co-designed RL framework for efficient LLM post-training. Its key insight is that, unlike existing RL frameworks which consume each trajectory only once, experience replay of recent trajectories enables effective sample reuse, thereby amortizing the high cost of rollout generation without incurring excessive policy staleness. To fully exploit this opportunity, ReFlow adopts a decoupled and adaptive architecture with three key designs: a dual replay data cycle supports efficient experience reuse while balancing training throughput and optimization stability; an elastic resource pool enables dynamic resource placement to accommodate evolving RL workloads; an adaptive scheduler coordinates generation strategies and resource allocation to improve resource utilization and boost generation throughput. Experiments across representative single-turn reasoning and multi-turn agentic RL tasks show that ReFlow improves training throughput by up to $2.06\times$ over state-of-the-art synchronous and asynchronous RL systems, while maintaining comparable or better model performance.