Highly Parallelized Reinforcement Learning Training with Relaxed Assignment Dependencies

📄 arXiv: 2502.20190v1 📥 PDF

作者: Zhouyu He, Peng Qiao, Rongchun Li, Yong Dou, Yusong Tan

分类: cs.LG, cs.AI

发布日期: 2025-02-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出TianJi，通过松弛分配依赖性实现高并行强化学习训练加速。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 分布式训练 并行计算 异步通信 样本效率

📋 核心要点

  1. 现有DRL训练系统由于子任务间数据分配依赖性，并行化程度不足，限制了训练效率。
  2. TianJi通过松弛子任务间分配依赖，采用事件驱动异步通信，提升并行性，并保持组件边界清晰。
  3. 实验表明，TianJi在收敛速度和吞吐量上均优于现有系统，尤其是在多节点扩展时表现突出。

📝 摘要（中文）

随着对卓越智能体需求的增长，深度强化学习（DRL）的训练复杂度日益提高。因此，加速DRL训练已成为一个主要研究焦点。将DRL训练过程划分为子任务并使用并行计算可以有效降低训练成本。然而，由于子任务组件之间的数据分配问题，当前的DRL训练系统缺乏足够的并行性。这种分配问题一直被忽视，但解决它可以进一步提高训练效率。因此，我们提出了一种名为TianJi的高吞吐量分布式RL训练系统。它放宽了子任务组件之间的分配依赖性，并实现了事件驱动的异步通信。同时，TianJi保持了子任务组件之间清晰的边界。为了解决放宽分配依赖性带来的收敛不确定性，TianJi提出了一种基于样本生产和消费平衡的分布式策略。该策略控制样本的陈旧性以纠正其质量，从而确保收敛。我们进行了广泛的实验。与相关的比较系统相比，TianJi实现了高达4.37倍的收敛时间加速比。当扩展到八个计算节点时，TianJi相对于XingTian表现出1.6倍的收敛时间加速和7.13倍的吞吐量加速，证明了其加速训练和可扩展性的能力。在数据传输效率实验中，TianJi明显优于其他系统，接近硬件极限。TianJi还在on-policy算法中显示出有效性，与RLlib和XingTian相比，实现了4.36和2.95的收敛时间加速比。TianJi可在https://github.com/HiPRL/TianJi.git上访问。

🔬 方法详解

问题定义：论文旨在解决深度强化学习（DRL）训练过程中，由于子任务组件间数据分配依赖性导致的并行化不足问题。现有方法在设计分布式训练系统时，往往忽略了这种依赖性，导致训练效率受限。这种依赖性限制了系统的扩展性和吞吐量，阻碍了DRL算法在更复杂环境中的应用。

核心思路：论文的核心思路是放松子任务组件之间的数据分配依赖性，允许事件驱动的异步通信。通过这种方式，各个子任务可以独立运行，无需等待其他任务的完成，从而提高整体的并行度和吞吐量。同时，为了解决放松依赖性可能导致的收敛问题，论文提出了一种基于样本生产和消费平衡的分布式策略。

技术框架：TianJi的整体架构是一个分布式系统，包含多个计算节点。每个节点负责执行特定的子任务，例如环境交互、策略更新和样本存储。这些子任务通过事件驱动的异步通信机制进行协作。系统维护一个全局的样本池，各个节点可以从中获取样本进行训练，并将新的样本添加到池中。为了保证样本的质量，系统采用了一种基于样本陈旧性的控制策略。

关键创新：TianJi最重要的技术创新点在于放松了子任务组件之间的数据分配依赖性，实现了高并行化的训练。与现有方法相比，TianJi允许各个子任务独立运行，无需等待其他任务的完成，从而显著提高了系统的吞吐量和可扩展性。此外，基于样本生产和消费平衡的分布式策略也是一个重要的创新，它有效地解决了放松依赖性可能导致的收敛问题。

关键设计：TianJi的关键设计包括：1) 事件驱动的异步通信机制，允许各个子任务独立运行；2) 基于样本生产和消费平衡的分布式策略，控制样本的陈旧性；3) 可配置的样本池大小和样本陈旧性阈值，允许用户根据具体任务进行调整；4) 针对不同类型的DRL算法，提供了不同的优化策略，例如针对on-policy算法的特殊处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TianJi在收敛时间和吞吐量方面均优于现有系统。与相关比较系统相比，TianJi实现了高达4.37倍的收敛时间加速比。当扩展到八个计算节点时，TianJi相对于XingTian表现出1.6倍的收敛时间加速和7.13倍的吞吐量加速。在数据传输效率实验中，TianJi明显优于其他系统，接近硬件极限。此外，TianJi在on-policy算法中也表现出良好的性能，与RLlib和XingTian相比，实现了4.36和2.95的收敛时间加速比。

🎯 应用场景

TianJi适用于需要大规模并行训练的深度强化学习任务，例如游戏AI、机器人控制、自动驾驶等领域。通过加速训练过程，可以更快地开发出性能更优越的智能体，从而提高相关应用的效率和智能化水平。该系统具有良好的可扩展性，可以方便地部署在云计算平台上，为大规模DRL训练提供支持。

📄 摘要（原文）

As the demands for superior agents grow, the training complexity of Deep Reinforcement Learning (DRL) becomes higher. Thus, accelerating training of DRL has become a major research focus. Dividing the DRL training process into subtasks and using parallel computation can effectively reduce training costs. However, current DRL training systems lack sufficient parallelization due to data assignment between subtask components. This assignment issue has been ignored, but addressing it can further boost training efficiency. Therefore, we propose a high-throughput distributed RL training system called TianJi. It relaxes assignment dependencies between subtask components and enables event-driven asynchronous communication. Meanwhile, TianJi maintains clear boundaries between subtask components. To address convergence uncertainty from relaxed assignment dependencies, TianJi proposes a distributed strategy based on the balance of sample production and consumption. The strategy controls the staleness of samples to correct their quality, ensuring convergence. We conducted extensive experiments. TianJi achieves a convergence time acceleration ratio of up to 4.37 compared to related comparison systems. When scaled to eight computational nodes, TianJi shows a convergence time speedup of 1.6 and a throughput speedup of 7.13 relative to XingTian, demonstrating its capability to accelerate training and scalability. In data transmission efficiency experiments, TianJi significantly outperforms other systems, approaching hardware limits. TianJi also shows effectiveness in on-policy algorithms, achieving convergence time acceleration ratios of 4.36 and 2.95 compared to RLlib and XingTian. TianJi is accessible at https://github.com/HiPRL/TianJi.git.