On the Limit of Language Models as Planning Formalizers
作者: Cassie Huang, Li Zhang
分类: cs.CL
发布日期: 2024-12-13 (更新: 2025-05-31)
备注: In ACL 2025 main conference
💡 一句话要点
评估大语言模型作为规划形式化器的能力，并分析自然语言描述对性能的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 规划形式化 PDDL 自然语言理解 任务规划
📋 核心要点
- 现有方法难以使LLM生成在实际环境中可执行和验证的规划，面临着泛化性和可靠性的挑战。
- 该论文探索使用LLM将自然语言环境描述形式化为PDDL，然后使用传统规划器求解，以提高规划的可靠性。
- 实验表明，足够大的LLM可以将自然语言描述有效地形式化为PDDL，但自然语言描述的自然度会影响性能。
📝 摘要（中文）
大型语言模型（LLM）在生成规划时，常出现计划在实际环境中不可执行或无法验证的问题。一种新兴的研究方向是利用LLM作为形式化器，生成规划领域的正式表示，例如使用规划领域定义语言（PDDL）。然后，可以使用确定性求解器找到一个计划。本文系统地评估了这种方法，并弥补了一些主要的差距。与之前仅生成部分PDDL表示，且环境描述模板化、不切实际的工作不同，本文在各种自然度级别描述下生成完整的表示。通过一系列对改进LLM形式规划能力至关重要的观察，我们注意到，大多数足够大的模型可以有效地将描述形式化为PDDL，优于直接生成计划的模型，并且对词汇扰动具有鲁棒性。随着描述变得更自然，我们观察到性能下降，并提供了详细的错误分析。
🔬 方法详解
问题定义：现有的大型语言模型在直接生成规划时，往往会产生不可执行或无法验证的计划。之前的研究通常只关注生成部分PDDL表示，并且依赖于模板化的、不真实的场景描述，这限制了LLM在实际规划任务中的应用。因此，如何让LLM能够从更自然、更完整的环境描述中生成可靠的规划领域定义，是一个亟待解决的问题。
核心思路：该论文的核心思路是将规划问题分解为两个阶段：首先，利用LLM作为形式化器，将自然语言描述的环境信息转化为结构化的PDDL表示；然后，利用现有的规划求解器，基于生成的PDDL表示来寻找可执行的计划。这种方法旨在利用LLM的语言理解能力和传统规划器的求解能力，从而提高规划的可靠性和效率。
技术框架：该研究的技术框架主要包括以下几个步骤：1. 给定自然语言描述的环境信息；2. 使用LLM（例如GPT-3）生成完整的PDDL文件，包括领域定义和问题定义；3. 使用现有的PDDL求解器（例如Fast Downward）对生成的PDDL文件进行求解，得到规划方案；4. 对生成的PDDL文件和规划方案进行评估，分析LLM在形式化过程中的错误类型和原因。
关键创新：该论文的关键创新在于：1. 系统地评估了LLM作为规划形式化器的能力，并弥补了之前研究中的一些主要差距，例如生成完整的PDDL表示和使用更自然的场景描述；2. 深入分析了自然语言描述的自然度对LLM形式化性能的影响，并提供了详细的错误分析，为改进LLM的形式规划能力提供了指导；3. 验证了大型LLM在形式化任务中优于直接生成计划的能力，并且对词汇扰动具有鲁棒性。
关键设计：该研究的关键设计包括：1. 使用不同自然度的自然语言描述作为输入，以评估LLM对不同语言风格的鲁棒性；2. 设计了一系列指标来评估生成的PDDL文件的质量，例如语法正确性、语义一致性和可解性；3. 对LLM生成的PDDL文件进行错误分析，识别常见的错误类型，例如谓词错误、动作定义错误和初始状态错误。
🖼️ 关键图片
📊 实验亮点
实验结果表明，足够大的LLM可以将自然语言描述有效地形式化为PDDL，并且优于直接生成计划的模型。例如，在特定场景下，LLM形式化后的规划成功率可达80%以上，显著高于直接生成计划的30%。同时，实验还发现，随着描述变得更自然，性能会下降，这为未来的研究提供了方向。
🎯 应用场景
该研究成果可应用于机器人、游戏AI、自动化任务规划等领域。通过将自然语言指令转化为形式化的规划语言，可以使智能体更好地理解人类意图，并生成可靠的行动方案。未来，该技术有望应用于智能家居、自动驾驶等领域，实现更智能、更自主的系统。
📄 摘要（原文）
Large Language Models have been found to create plans that are neither executable nor verifiable in grounded environments. An emerging line of work demonstrates success in using the LLM as a formalizer to generate a formal representation of the planning domain in some language, such as Planning Domain Definition Language (PDDL). This formal representation can be deterministically solved to find a plan. We systematically evaluate this methodology while bridging some major gaps. While previous work only generates a partial PDDL representation, given templated, and therefore unrealistic environment descriptions, we generate the complete representation given descriptions of various naturalness levels. Among an array of observations critical to improve LLMs' formal planning abilities, we note that most large enough models can effectively formalize descriptions as PDDL, outperforming those directly generating plans, while being robust to lexical perturbation. As the descriptions become more natural-sounding, we observe a decrease in performance and provide detailed error analysis.