Grounded Evaluation and Repair for NL-to-PDDL Problem Generation

📄 arXiv: 2609.09898v1 📥 PDF

作者: Joana Rosa, Pedro Santos, Valdemar Oliveira, Romão Silva, L. Miguel Silveira, Bruno Martins

分类: cs.AI

发布日期: 2026-09-09

💡 一句话要点

提出基于LLM的NL到PDDL问题生成与修复方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 规划问题生成 大型语言模型 PDDL 结构化修复 领域一致性检查 智能系统

📋 核心要点

  1. 现有方法在评估NL到PDDL转换时，容易高估生成问题的忠实度，导致生成的问题虽然可解析和可解，但与实际意图不符。
  2. 论文提出了一种结合LLM生成、解析检查、领域一致性检查和迭代修复的端到端NL到PDDL管道，以提高生成问题的质量和准确性。
  3. 实验结果显示，操作成功与基准重构之间存在显著差异，且结构化修复方法在提升生成质量方面表现出色。

📝 摘要（中文）

大型语言模型（LLMs）在将自然语言（NL）规划描述转换为PDDL问题实例方面展现了潜力。然而，传统评估标准如语法有效性或规划成功率可能会高估生成问题对描述任务的忠实度。本文研究了一种端到端的NL到PDDL管道，结合了LLM生成、PDDL解析、规划和验证检查、领域一致性检查器、LLM评论器和迭代修复。通过对比基准PDDL问题描述，结果表明操作成功与基准重构可能存在显著差异，且结构化修复在提升生成质量方面具有实用性。即使操作成功有所改善，PDDL 2.1在参考重构方面仍然具有挑战性。

🔬 方法详解

问题定义：本文旨在解决现有NL到PDDL转换方法在评估生成问题忠实度时的不足，尤其是生成的问题可能在语法上有效但在语义上不准确的问题。

核心思路：通过构建一个端到端的管道，结合LLM生成、解析和验证检查，以及领域一致性和迭代修复，来提升生成问题的质量和准确性。

技术框架：该方法包括多个模块：LLM生成模块、PDDL解析模块、规划验证模块、领域一致性检查器、LLM评论器和结构化修复模块，形成一个闭环反馈系统。

关键创新：最重要的创新在于引入了细粒度的修复反馈机制，结合了生成的问题、自然语言描述和操作诊断，提升了生成问题的质量。

关键设计：在设计中，采用了重命名不变结构匹配和语义等价性检查，确保生成问题在结构和语义上与基准问题相符。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，操作成功率与基准重构之间存在显著差异，且结构化修复方法在提升生成问题质量方面表现出色。具体而言，在多个基准数据集上，生成问题的质量得到了显著改善，尤其是在PDDL 2.1问题上。

🎯 应用场景

该研究的潜在应用领域包括自动规划系统、智能助手和游戏开发等，能够有效提升自然语言描述转化为可执行规划问题的准确性，进而提高智能系统的决策能力和用户体验。

📄 摘要（原文）

Large Language Models (LLMs) have shown promise for translating Natural Language (NL) planning descriptions into PDDL problem instances. However, standard evaluation criteria such as syntactic validity or planner success can substantially overestimate faithfulness to the described task: a generated problem may be parseable and solvable while misrepresenting the intended initial state, goal, object structure, or optimization target. This paper studies an end-to-end NL-to-PDDL pipeline that combines LLM generation, checks in terms of PDDL parsing, planning and validation, a domain-conformance checker, an LLM critic, and iterative repair. Fine-grained repair feedback is constructed from the domain description, the generated problem, the natural language problem description, and operational diagnostics. Reference-based comparisons against curated benchmark PDDL problem descriptions are used for post-hoc benchmark analysis, and these offline checks include renaming-invariant structural matching and semantic equivalence, where domain support is available. Across Planetarium, AutoPlanBench, and curated PDDL~2.1 problems, results show that operational success and benchmark-reference reconstruction can diverge substantially. Results also show that structured repair can be useful, and that PDDL~2.1 remains challenging for reference reconstruction, even when operational success improves.