Which LLM is Best for Translating Natural Language Goals to PDDL

📄 arXiv: 2609.18731v1 📥 PDF

作者: Tomas Balyo, Lukas Chrpa, G. Michael Youngblood

分类: cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出基于LLM的自然语言目标到PDDL翻译方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自然语言处理 自动化规划 PDDL 模型评估 翻译准确性 人机交互

📋 核心要点

  1. 现有方法在将自然语言目标转化为PDDL时，面临着可访问性和准确性不足的问题。
  2. 论文提出了一种基于LLMs的翻译方法，利用精心设计的提示模板来提高翻译的准确性和一致性。
  3. 实验结果显示，所有模型的正确率超过92%，Gemini 2.5 Flash的准确率最高，达到96%。

📝 摘要（中文）

在自动化规划中，如何将人类意图转化为机器可执行的形式仍然是一个挑战。本文实证评估了当前的大型语言模型（LLMs）在将视频游戏测试人员用非正式语言编写的自然语言目标翻译为适合经典规划的PDDL目标方面的可靠性。我们提出了一种精心设计的提示模板，旨在通过多轮实验的见解最大化多个最先进LLMs的准确性和响应一致性。六种现代模型在正确性、速度和错误倾向方面进行了系统评估，所有模型的正确率均超过92%，其中Gemini 2.5 Flash的准确率最高，达到96%，且假阳性率最低，而GPT-4.1在响应速度上表现最佳。尽管取得了这些进展，模型性能之间仍存在显著差异，偶尔的失败源于语言模糊性和领域表示的局限性。我们的分析强调了LLMs在自然语言目标与自动化规划管道之间作为有效桥梁的显著进展和持续差距。

🔬 方法详解

问题定义：本文旨在解决如何将自然语言目标有效翻译为PDDL格式的问题。现有方法在准确性和可访问性方面存在不足，限制了非专家用户的使用。

核心思路：论文的核心思路是利用大型语言模型（LLMs）进行自然语言到PDDL的翻译，通过设计优化的提示模板来提升翻译的准确性和一致性。

技术框架：整体架构包括数据收集、提示模板设计、模型选择与评估等多个阶段。首先收集真实的自然语言目标，然后设计提示模板以引导LLMs进行翻译，最后对多个模型的输出进行评估。

关键创新：最重要的技术创新点在于提出了一种系统化的提示模板设计方法，结合了多轮实验的反馈，显著提高了翻译的准确性和一致性。与现有方法相比，该方法更具灵活性和适应性。

关键设计：在模型选择上，评估了六种现代LLMs，设置了不同的参数以优化输出，采用了特定的损失函数来衡量翻译的准确性，并对模型的响应速度进行了比较。实验中还考虑了语言模糊性对翻译结果的影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，所有评估的模型在正确性上均超过92%，其中Gemini 2.5 Flash的准确率最高，达到96%，并且假阳性率最低。同时，GPT-4.1在响应速度方面表现最佳。这些结果表明，LLMs在自然语言目标翻译中的应用具有显著的潜力。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、智能助手和自动化规划系统。通过提高自然语言与机器执行之间的桥接能力，能够使非专家用户更容易地与复杂系统互动，提升用户体验和系统效率。未来，该方法可能在更多领域得到推广，促进人机交互的智能化发展。

📄 摘要（原文）

Bridging the gap between human intent and machine execution remains a challenge in automated planning, where expressing goals in formal languages like PDDL restricts accessibility to non-experts. This paper empirically evaluates whether current Large Language Models (LLMs) can reliably translate natural language testing goals, written in informal language by video game testers, into well-formed PDDL targets suitable for classical planning. We present a carefully designed prompt template, integrating insights from iterative experimentation, aimed at maximizing both accuracy and response coherence from multiple state-of-the-art LLMs. Six contemporary models are systematically assessed on correctness, speed, and error tendencies using real-world, domain-specific benchmarks. All models demonstrate high correctness, exceeding 92\%, with Gemini 2.5 Flash achieving the highest accuracy at 96\% and the lowest incidence of false positives, while GPT-4.1 leads in response speed. Despite these advances, critical distinctions exist in model performance, and occasional failures arise from language ambiguity and limitations in domain representation. Our analysis underscores both the significant progress and ongoing gaps in enabling LLMs to act as robust bridges between natural language objectives and automated planning pipelines.