PEARL: Adaptive Prefill-Decode Execution with Elasticity for Agentic Reinforcement Learning
作者: Jiaan Zhu, Wei Gao, Youhui Bai, Zewen Jin, Ju Huang, Siran Yang, Jiamang Wang, Lin Qu, Cheng Li
分类: cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出PEARL以优化智能强化学习中的资源利用与执行效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 智能强化学习 资源管理 异步执行 预填充-解码 GPU弹性 性能优化 动态配置
📋 核心要点
- 现有的智能强化学习方法在多轮回合执行中面临资源利用不充分和效率低下的问题。
- PEARL通过协调GPU资源弹性和自适应的预填充-解码执行，优化了资源配置和任务执行效率。
- 实验结果显示，PEARL在不同大模型上相比于固定资源的ROLL，吞吐量提升达2.17至2.79倍，且相较于RLBoost+，提升幅度可达36.3%。
📝 摘要（中文）
多轮回合在智能强化学习中占据了主要成本。虽然异步执行和弹性GPU资源可以加速这一阶段，但增加回合副本的收益递减，同时训练GPU在更新之间处于闲置状态。我们观察到有效的资源使用还依赖于预填充-解码(PD)配置。PEARL是一个异步智能强化学习系统，协调外部资源弹性、临时重用闲置训练GPU和自适应PD执行。PEARL通过运行时配置预测回合批次完成时间，并在当前GPU预算下选择PD模式和比例，从而实现资源的高效利用。实验结果表明，PEARL在不同大模型上实现了2.17至2.79倍的吞吐量提升。
🔬 方法详解
问题定义：本论文旨在解决智能强化学习中多轮回合执行的资源利用不足和效率低下的问题。现有方法在增加回合副本时收益递减，且训练GPU在更新间闲置，导致资源浪费。
核心思路：PEARL的核心思路是通过协调外部资源弹性和自适应的预填充-解码执行，来优化资源配置和任务执行效率。通过实时预测回合批次完成时间，PEARL能够动态调整PD模式和比例，以适应当前的GPU预算。
技术框架：PEARL的整体架构包括统一的GPU-工作角色状态管理、运行时配置预测、PD模式选择和增量过渡计划。系统通过实时监控和分析环境变化，调整解码并发性，以提高资源利用率。
关键创新：PEARL的主要创新在于其动态选择PD配置和资源弹性管理策略，能够在资源可用性窗口内实现高效的任务执行。这种方法与传统的固定资源配置方法本质上不同，能够更灵活地应对变化的工作负载。
关键设计：PEARL采用了成本感知的切换和借用策略，确保在预期收益不足时抑制过渡，同时确保训练GPU的及时回归。系统的设计还考虑了环境引起的解码并发性降低，优化了资源的使用效率。
🖼️ 关键图片
📊 实验亮点
PEARL在不同大型语言模型上实现了2.17至2.79倍的吞吐量提升，相较于固定资源的ROLL方法，表现出显著的效率优势。同时，与RLBoost+相比，Qwen3-8B和Qwen3-30B-A3B模型的吞吐量分别提升了约26.9%和36.3%。
🎯 应用场景
PEARL的研究成果在智能强化学习领域具有广泛的应用潜力，尤其是在需要高效资源管理和快速响应的场景中，如机器人控制、自动驾驶和游戏AI等。通过优化资源配置，PEARL能够显著提升训练效率，降低成本，推动智能系统的实际应用。未来，PEARL的框架也可能扩展到其他需要动态资源管理的机器学习任务中。
📄 摘要（原文）
Multi-turn rollout dominates the cost of agentic reinforcement learning (RL). Asynchronous execution and elastic GPU resources can accelerate this stage, but adding rollout replicas yields diminishing returns while training GPUs remain idle between updates. We observe that effective resource use also depends on the prefill--decode (PD) configuration. Both the choice between colocation and disaggregation and the optimal PD ratio vary with the workload, making resource scaling and PD configuration interdependent. Exploiting this opportunity requires selecting effective configurations and realizing their benefits within transient resource-availability windows despite reconfiguration costs. We present PEARL, an asynchronous agentic RL system that coordinates external resource elasticity, temporary reuse of idle training GPUs, and adaptive PD execution. PEARL maintains a unified GPU--worker--role state and uses runtime profiles to predict rollout batch completion time, accounting for environment-induced reductions in decode concurrency. It selects the PD mode and ratio under the current GPU budget and translates each decision into an incremental transition plan that minimizes worker and role changes. Cost-aware switching and borrowing policies suppress transitions with insufficient expected benefit while ensuring timely return of training GPUs. Our evaluation show that PEARL achieves $2.17$--$2.79\times$ the throughput of fixed-resource ROLL across different LLMs. Compared with RLBoost+, throughput improves by up to approximately 26.9\% for Qwen3-8B and 36.3\% for Qwen3-30B-A3B.