HDDLGym: A Tool for Studying Multi-Agent Hierarchical Problems Defined in HDDL with OpenAI Gym
作者: Ngoc La, Ruaridh Mon-Williams, Julie A. Shah
分类: cs.AI, cs.LG, cs.MA
发布日期: 2025-05-28
备注: Accepted to Proceedings of ICAPS 2025
💡 一句话要点
HDDLGym：一个用于研究基于HDDL定义的多智能体分层问题的OpenAI Gym工具
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 分层规划 强化学习 多智能体系统 OpenAI Gym HDDL
📋 核心要点
- 现有强化学习环境缺乏对分层规划的有效支持，限制了复杂任务的学习效率和泛化能力。
- HDDLGym通过自动将HDDL领域和问题转换为OpenAI Gym环境，实现了强化学习与分层规划的无缝集成。
- 该工具支持多智能体场景，并提供了在Transport和Overcooked等领域的应用示例，验证了其有效性。
📝 摘要（中文）
近年来，强化学习（RL）方法已通过OpenAI Gym等工具进行了广泛测试，但这些环境中的许多任务也可以从分层规划中受益。然而，缺乏一种能够将分层规划与RL无缝集成的工具。层次领域定义语言（HDDL）用于经典规划，引入了一种结构化方法，非常适合基于模型的RL，以解决这一差距。为了弥合这种集成，我们引入了HDDLGym，这是一个基于Python的工具，可以从HDDL领域和问题自动生成OpenAI Gym环境。HDDLGym充当了RL和分层规划之间的桥梁，支持多智能体场景，并支持智能体之间的协作规划。本文概述了HDDLGym的设计和实现，重点介绍了将HDDL与Gym接口集成所涉及的挑战和设计选择，并将RL策略应用于支持分层规划。我们还提供了使用HDDLGym框架的详细说明和演示，包括如何使用国际规划竞赛中现有的HDDL领域和问题，例如Transport领域。此外，我们还提供了有关为多智能体场景创建新的HDDL领域的指导，并演示了HDDLGym在Overcooked领域中的实际应用。通过利用HDDL和Gym的优势，HDDLGym旨在成为研究分层规划中的RL（尤其是在多智能体环境中）的宝贵工具。
🔬 方法详解
问题定义：现有强化学习环境难以处理需要分层规划的复杂任务。传统的强化学习方法在面对状态空间巨大、奖励稀疏的问题时，学习效率低下，泛化能力不足。缺乏一个能够有效结合分层规划和强化学习的工具，阻碍了相关研究的进展。
核心思路：HDDLGym的核心思路是利用HDDL的结构化表示能力，将分层规划的知识融入到强化学习过程中。通过将HDDL领域和问题自动转换为OpenAI Gym环境，使得强化学习算法可以直接应用于分层规划任务。这种方法可以有效地降低状态空间的维度，加速学习过程，并提高泛化能力。
技术框架：HDDLGym的整体架构包括以下几个主要模块：HDDL解析器、Gym环境生成器和RL策略接口。HDDL解析器负责解析HDDL领域和问题文件，提取任务的结构化信息。Gym环境生成器根据解析结果，自动创建符合OpenAI Gym接口规范的环境。RL策略接口则提供了将强化学习策略应用于生成环境的接口。整个流程实现了从HDDL描述到可供强化学习算法使用的Gym环境的自动转换。
关键创新：HDDLGym最重要的技术创新点在于它提供了一种将经典规划语言HDDL与强化学习环境Gym无缝集成的框架。这种集成使得研究人员可以方便地利用HDDL的结构化知识来指导强化学习过程，从而解决传统强化学习方法难以处理的复杂任务。与现有方法相比，HDDLGym能够更好地利用任务的先验知识，提高学习效率和泛化能力。
关键设计：HDDLGym的关键设计包括HDDL到Gym环境的映射规则、状态和动作空间的定义以及奖励函数的设计。HDDL中的动作被映射为Gym环境中的动作，HDDL中的状态被映射为Gym环境中的状态。奖励函数的设计需要根据具体的任务进行调整，以鼓励智能体学习到期望的分层规划策略。此外，HDDLGym还提供了一些参数设置，例如状态抽象的粒度，用于控制状态空间的维度。
🖼️ 关键图片
📊 实验亮点
论文通过在Transport和Overcooked等经典领域进行实验，验证了HDDLGym的有效性。实验结果表明，使用HDDLGym可以有效地将HDDL领域和问题转换为OpenAI Gym环境，并可以使用强化学习算法学习到期望的分层规划策略。虽然论文中没有给出具体的性能数据和提升幅度，但通过示例展示了HDDLGym在多智能体协作规划方面的潜力。
🎯 应用场景
HDDLGym的应用场景广泛，包括机器人任务规划、游戏AI、自动化流程设计等。例如，在机器人任务规划中，可以利用HDDL描述机器人的高层行为，然后使用强化学习学习如何执行这些行为。在游戏AI中，可以利用HDDL构建游戏角色的行为树，然后使用强化学习优化行为树的参数。HDDLGym的实际价值在于它提供了一个统一的平台，用于研究和开发基于分层规划的强化学习算法，并促进了相关技术在实际应用中的落地。
📄 摘要（原文）
In recent years, reinforcement learning (RL) methods have been widely tested using tools like OpenAI Gym, though many tasks in these environments could also benefit from hierarchical planning. However, there is a lack of a tool that enables seamless integration of hierarchical planning with RL. Hierarchical Domain Definition Language (HDDL), used in classical planning, introduces a structured approach well-suited for model-based RL to address this gap. To bridge this integration, we introduce HDDLGym, a Python-based tool that automatically generates OpenAI Gym environments from HDDL domains and problems. HDDLGym serves as a link between RL and hierarchical planning, supporting multi-agent scenarios and enabling collaborative planning among agents. This paper provides an overview of HDDLGym's design and implementation, highlighting the challenges and design choices involved in integrating HDDL with the Gym interface, and applying RL policies to support hierarchical planning. We also provide detailed instructions and demonstrations for using the HDDLGym framework, including how to work with existing HDDL domains and problems from International Planning Competitions, exemplified by the Transport domain. Additionally, we offer guidance on creating new HDDL domains for multi-agent scenarios and demonstrate the practical use of HDDLGym in the Overcooked domain. By leveraging the advantages of HDDL and Gym, HDDLGym aims to be a valuable tool for studying RL in hierarchical planning, particularly in multi-agent contexts.