NL2Plan: Robust LLM-Driven Planning from Minimal Text Descriptions

📄 arXiv: 2405.04215v2 📥 PDF

作者: Elliot Gestrin, Marco Kuhlmann, Jendrik Seipp

分类: cs.AI

发布日期: 2024-05-07 (更新: 2025-10-01)

备注: Accepted for the ICAPS 2024 Workshop on Human-Aware and Explainable Planning

💡 一句话要点

NL2Plan：提出一种基于LLM的鲁棒规划方法，从极简文本描述生成PDDL任务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言规划 大型语言模型 PDDL生成 经典规划器 自动化任务规划

📋 核心要点

  1. 经典规划器需要繁琐的PDDL建模，而LLM规划缺乏质量保证，现有方法在自动化PDDL创建时依赖专家知识或领域适配。
  2. NL2Plan利用LLM从极简自然语言描述中自动提取信息，生成完整的PDDL领域和问题描述，并由经典规划器求解。
  3. 在七个规划领域（包括五个新领域）的实验表明，NL2Plan优于直接使用LLM生成PDDL文件，提升了规划的可靠性。

📝 摘要（中文）

经典规划器功能强大，但以PDDL等输入格式建模任务繁琐且容易出错。相比之下，使用大型语言模型（LLM）进行规划几乎可以接受任何输入文本，但无法保证计划质量甚至合理性。为了结合这两种方法的优点，一些工作开始使用LLM来自动化PDDL创建过程的部分环节。然而，这些方法仍然需要不同程度的专家输入或特定领域的调整。我们提出了NL2Plan，这是第一个全自动系统，可以从极简的自然语言描述中生成完整的PDDL任务。NL2Plan使用LLM从简短的文本输入中逐步提取必要的信息，然后创建领域和问题的完整PDDL描述，最后由经典规划器解决。我们在七个规划领域（其中五个是新的，因此不在LLM训练数据中）评估了NL2Plan，发现NL2Plan优于直接使用LLM+验证器组合生成文件。因此，NL2Plan是辅助PDDL建模的强大工具，也是朝着通过可解释性和保证解决自然语言规划任务迈出的一步。

🔬 方法详解

问题定义：论文旨在解决从自然语言描述自动生成PDDL（Planning Domain Definition Language）任务的问题。现有方法要么依赖人工编写PDDL，要么使用LLM直接生成PDDL，前者耗时费力，后者缺乏可靠性和可解释性。现有基于LLM的方法通常需要领域专家知识或针对特定领域进行调整，通用性较差。

核心思路：NL2Plan的核心思路是利用LLM的自然语言理解能力，从简短的自然语言描述中逐步提取构建PDDL任务所需的关键信息，然后将这些信息组合成完整的PDDL描述。这种方法避免了直接生成整个PDDL文件的困难，并允许使用经典规划器来保证计划的正确性。

技术框架：NL2Plan的整体框架包含以下几个主要阶段：1) 信息提取：使用LLM从自然语言描述中提取领域（domain）和问题（problem）的关键信息，例如动作（actions）、谓词（predicates）、对象（objects）和初始状态（initial state）等。2) PDDL生成：根据提取的信息，按照PDDL的语法规则，自动生成PDDL领域文件和问题文件。3) 规划求解：使用经典规划器（如Fast Downward）对生成的PDDL任务进行求解，得到规划方案。

关键创新：NL2Plan的关键创新在于其全自动化的PDDL生成流程，无需人工干预或领域特定知识。它通过逐步提取信息并组合成PDDL，降低了LLM生成复杂结构化数据的难度，提高了生成PDDL的成功率和质量。此外，NL2Plan通过使用经典规划器，保证了规划方案的正确性和可解释性。

关键设计：NL2Plan的关键设计包括：1) 使用精心设计的prompt来引导LLM进行信息提取，prompt的设计需要考虑如何清晰地表达需要提取的信息类型和格式。2) 使用迭代式的信息提取方法，逐步完善PDDL描述，避免一次性生成整个PDDL文件的困难。3) 使用错误检测和修复机制，检查生成的PDDL文件是否符合语法规则，并尝试修复错误。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NL2Plan在七个规划领域进行了评估，其中五个是LLM训练数据中没有的新领域。实验结果表明，NL2Plan在生成PDDL任务方面优于直接使用LLM+验证器组合的方法。这表明NL2Plan能够更好地泛化到新的领域，并生成更准确的PDDL描述。

🎯 应用场景

NL2Plan可应用于自动化任务规划、机器人控制、游戏AI等领域。它降低了使用经典规划器的门槛，使得非专业人士也能方便地利用规划技术解决实际问题。未来，NL2Plan可以扩展到更复杂的领域，并与其他AI技术（如强化学习）相结合，实现更智能的规划。

📄 摘要（原文）

Classical planners are powerful systems, but modeling tasks in input formats such as PDDL is tedious and error-prone. In contrast, planning with Large Language Models (LLMs) allows for almost any input text, but offers no guarantees on plan quality or even soundness. In an attempt to merge the best of these two approaches, some work has begun to use LLMs to automate parts of the PDDL creation process. However, these methods still require various degrees of expert input or domain-specific adaptations. We present NL2Plan, the first fully automatic system for generating complete PDDL tasks from minimal natural language descriptions. NL2Plan uses an LLM to incrementally extract the necessary information from the short text input before creating a complete PDDL description of both the domain and the problem which is finally solved by a classical planner. We evaluate NL2Plan on seven planning domains, five of which are novel and thus not in the LLM training data, and find that NL2Plan outperforms directly generating the files with an LLM+validator combination. As such, NL2Plan is a powerful tool for assistive PDDL modeling and a step towards solving natural language planning task with interpretability and guarantees.