DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence

📄 arXiv: 2312.05171v1 📥 PDF

作者: Saeejith Nair, Mohammad Javad Shafiee, Alexander Wong

分类: cs.AI, cs.NE

发布日期: 2023-12-08

备注: 9 pages

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DARLEI：利用进化智能加速深度强化学习，实现UNIMAL智能体形态演化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 进化算法 深度强化学习 形态演化 GPU加速 机器人学习

📋 核心要点

  1. 现有方法在UNIMAL智能体形态演化中计算成本高昂，依赖大型CPU集群。
  2. DARLEI结合进化算法与并行强化学习，利用PPO和世代学习机制促进形态进化。
  3. DARLEI基于Isaac Gym，利用GPU加速，单工作站实现20倍以上的速度提升。

📝 摘要（中文）

DARLEI是一个框架，它结合了进化算法与并行强化学习，用于高效地训练和进化UNIMAL智能体种群。该方法利用近端策略优化（PPO）进行个体智能体学习，并将其与基于锦标赛选择的世代学习机制相结合，以促进形态进化。DARLEI构建于Nvidia的Isaac Gym之上，利用GPU加速模拟，仅使用单个工作站即可实现超过20倍的加速，而之前的工作需要大型分布式CPU集群。系统地描述了DARLEI在各种条件下的性能，揭示了影响进化形态多样性的因素。例如，通过在模拟器中启用智能体间的碰撞，可以模拟同一形态的一些多智能体交互，并观察其如何影响个体智能体的能力和长期进化适应性。虽然目前的结果显示跨世代的多样性有限，但希望在未来的工作中扩展DARLEI，使其包括更多样形态在更丰富的环境中的交互，并创建一个允许种群共同进化和研究其中涌现行为的平台。源代码已公开。

🔬 方法详解

问题定义：论文旨在解决UNIMAL智能体形态演化过程中计算资源需求高、训练效率低的问题。现有方法通常依赖于大规模的CPU集群进行模拟和训练，成本高昂且难以扩展。此外，如何有效地促进智能体形态的多样性演化也是一个挑战。

核心思路：DARLEI的核心思路是将进化算法与深度强化学习相结合，利用进化算法的全局搜索能力来探索不同的智能体形态，并利用深度强化学习算法（PPO）来训练每个形态的控制策略。通过GPU加速模拟，显著提升训练效率，降低计算成本。

技术框架：DARLEI的整体框架包含以下几个主要模块：1) 种群初始化：随机生成初始智能体种群，每个智能体具有不同的形态参数。2) 强化学习训练：使用PPO算法并行训练每个智能体的控制策略。3) 适应度评估：根据智能体在模拟环境中的表现（例如，行走距离、速度等）评估其适应度。4) 进化选择：使用锦标赛选择等进化算法选择适应度高的智能体作为父代。5) 变异与交叉：对父代智能体的形态参数进行变异和交叉操作，生成新的子代智能体。6) 种群更新：用子代智能体替换父代智能体，形成新的种群。重复步骤2-6，直到满足停止条件。

关键创新：DARLEI的关键创新在于将进化算法与GPU加速的深度强化学习相结合，实现了高效的UNIMAL智能体形态演化。通过利用Nvidia Isaac Gym进行GPU加速模拟，显著提升了训练速度。此外，该框架还探索了智能体间碰撞对形态演化的影响。

关键设计：DARLEI使用PPO作为强化学习算法，并采用基于锦标赛选择的世代学习机制。适应度函数的设计至关重要，需要根据具体的任务进行调整。论文中探索了智能体间碰撞对形态演化的影响，通过在模拟器中启用智能体间的碰撞，可以模拟多智能体交互，并观察其对个体智能体能力和长期进化适应性的影响。

📊 实验亮点

DARLEI在UNIMAL智能体形态演化方面实现了显著的性能提升，仅使用单个工作站即可达到超过20倍的加速，相比于之前需要大型分布式CPU集群的工作。实验结果表明，智能体间的碰撞会影响形态演化的多样性，为未来的研究提供了新的方向。

🎯 应用场景

DARLEI框架可应用于机器人设计、生物形态学研究、以及游戏AI开发等领域。通过自动演化智能体的形态和控制策略，可以设计出更适应特定环境和任务的机器人。该研究也有助于理解生物形态演化的机制，并为游戏AI提供更智能、更具多样性的角色。

📄 摘要（原文）

We present DARLEI, a framework that combines evolutionary algorithms with parallelized reinforcement learning for efficiently training and evolving populations of UNIMAL agents. Our approach utilizes Proximal Policy Optimization (PPO) for individual agent learning and pairs it with a tournament selection-based generational learning mechanism to foster morphological evolution. By building on Nvidia's Isaac Gym, DARLEI leverages GPU accelerated simulation to achieve over 20x speedup using just a single workstation, compared to previous work which required large distributed CPU clusters. We systematically characterize DARLEI's performance under various conditions, revealing factors impacting diversity of evolved morphologies. For example, by enabling inter-agent collisions within the simulator, we find that we can simulate some multi-agent interactions between the same morphology, and see how it influences individual agent capabilities and long-term evolutionary adaptation. While current results demonstrate limited diversity across generations, we hope to extend DARLEI in future work to include interactions between diverse morphologies in richer environments, and create a platform that allows for coevolving populations and investigating emergent behaviours in them. Our source code is also made publicly at https://saeejithnair.github.io/darlei.