Dragonfly: a modular deep reinforcement learning library
作者: Jonathan Viquerat, Paul Garnier, Amirhossein Bateni, Elie Hachem
分类: cs.LG
发布日期: 2025-04-30 (更新: 2025-07-28)
💡 一句话要点
Dragonfly：一个模块化的深度强化学习库，易于实验和开发
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 模块化设计 JSON序列化 CPU优化 强化学习库
📋 核心要点
- 现有深度强化学习库在实验灵活性和代码维护方面存在挑战，尤其是在CPU密集型环境中。
- Dragonfly通过模块化设计和JSON序列化，实现了构建模块的灵活替换和参数扫描，降低了代码维护成本。
- Dragonfly在标准强化学习任务上表现良好，性能与现有文献中的结果具有竞争力。
📝 摘要（中文）
Dragonfly是一个深度强化学习库，专注于模块化设计，旨在简化实验和开发流程。它依赖于JSON序列化，允许交换构建模块并执行参数扫描，同时最大限度地减少代码维护工作。该库的一些特性专门为CPU密集型环境（如数值模拟）而设计。在使用常见基准测试的标准智能体上的性能表现与文献中的结果相当。
🔬 方法详解
问题定义：现有深度强化学习库通常缺乏足够的模块化设计，导致实验过程复杂，难以灵活调整和扩展。特别是在CPU密集型环境中，例如数值模拟，对性能和效率提出了更高的要求。代码维护成本也随着项目复杂度的增加而显著上升。
核心思路：Dragonfly的核心思路是采用模块化设计，将深度强化学习算法分解为多个可独立配置和替换的构建模块。通过JSON序列化，可以方便地定义和修改这些模块的参数，从而实现快速实验和参数扫描。这种设计降低了代码的耦合性，提高了可维护性。
技术框架：Dragonfly的整体架构基于JSON配置文件驱动。用户可以通过JSON文件定义智能体、环境、训练过程等各个模块的参数。库的核心组件包括：环境接口、策略网络、价值函数、优化器等。训练流程包括：与环境交互、收集经验数据、更新策略网络和价值函数。
关键创新：Dragonfly的关键创新在于其模块化设计和JSON序列化配置。这种设计使得用户可以轻松地替换不同的算法组件，例如不同的策略网络结构、不同的优化器等，而无需修改大量的代码。此外，针对CPU密集型环境进行了优化，提高了计算效率。
关键设计：Dragonfly的关键设计包括：1) 使用JSON Schema来验证配置文件的正确性；2) 提供了一系列预定义的常用模块，例如不同的策略梯度算法、不同的神经网络结构等；3) 实现了高效的经验回放机制，以提高样本利用率；4) 针对CPU密集型环境，使用了多线程和向量化计算等优化技术。
🖼️ 关键图片
📊 实验亮点
Dragonfly在常见的强化学习基准测试（例如OpenAI Gym）上进行了评估，结果表明其性能与现有文献中的标准智能体相当。该库在CPU密集型环境中的性能表现尤为突出，能够有效地利用多核CPU资源，加速训练过程。JSON配置方式极大地简化了参数调整和实验管理。
🎯 应用场景
Dragonfly适用于各种需要深度强化学习的场景，尤其是在CPU计算资源受限或需要快速迭代实验的环境中。例如，它可以应用于机器人控制、数值模拟、金融交易、游戏AI等领域。其模块化设计和易用性降低了深度强化学习的门槛，促进了其在更广泛领域的应用。
📄 摘要（原文）
Dragonfly is a deep reinforcement learning library focused on modularity, in order to ease experimentation and developments. It relies on a json serialization that allows to swap building blocks and perform parameter sweep, while minimizing code maintenance. Some of its features are specifically designed for CPU-intensive environments, such as numerical simulations. Its performance on standard agents using common benchmarks compares favorably with the literature.