Testing the Planning Claims of LLM-Based Agents against Formal Semantics

📄 arXiv: 2610.22469v1 📥 PDF

作者: Oriol Miro-Lopez-Feliu, Oscar Miró López-Feliu, Victor Gimenez-Abalos, Javier Vazquez-Salceda, Victor Carballo Araruna, Sergio Alvarez-Napagao

分类: cs.AI

发布日期: 2026-10-15

备注: 41 pages, including appendix

💡 一句话要点

通过形式语义验证LLM代理的规划能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 规划能力 形式语义 PDDL模型 智能代理 任务评估 自动化决策

📋 核心要点

  1. 现有的LLM代理在规划能力的验证上缺乏严谨的证据，通常依赖于成功率或主观评估，无法真实反映其能力。
  2. 本文提出通过形式语义的方式对LLM的规划能力进行测试，利用隐藏的PDDL模型来评估任务的可解性和执行效果。
  3. 实验结果显示，最佳配置在离线环境中解决了78%的可解任务，但在线环境中仅为40%，并且未解决任务的识别率低于10%。

📝 摘要（中文）

基于大型语言模型（LLM）的代理越来越被认为具备实用推理的能力，如规划、监控和自我纠正。然而，这些能力的证明通常依赖于任务完成率或LLM评估者的主观判断。本文通过形式语义测试LLM的规划能力，任务以自然语言提出，但基于隐藏的PDDL模型来决定每个动作的适用性、目标是否达成以及是否存在计划。在五个领域中，最佳配置离线解决了78%的可解任务，但在线仅解决了40%。未解决任务的识别率低于10%，而复杂的提示策略使用的标记数是直接提示的5到22倍，但未见明显收益。规划性能在模型间的差异大于提示策略或代理架构的差异。

🔬 方法详解

问题定义：本文旨在解决LLM代理在规划能力验证中的不足，现有方法多依赖于成功率或主观评估，缺乏客观的验证机制。

核心思路：通过形式语义的方式，利用隐藏的PDDL模型来评估LLM代理的规划能力，从而提供更为严谨的证据支持。

技术框架：整体架构包括任务定义、模型选择、提示策略设计和结果评估四个主要模块。任务以自然语言形式提出，模型通过PDDL模型进行评估。

关键创新：最重要的创新在于将形式语义与LLM代理的规划能力结合，提供了基于验证的行动轨迹证据，区别于以往的成功率评估。

关键设计：在实验中，使用了五个领域的任务，四种模型，六种提示策略和三种代理架构，特别关注提示策略的复杂性对性能的影响。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，最佳配置在离线环境中成功解决了78%的可解任务，而在线环境中仅为40%。此外，未解决任务的识别率低于10%，复杂提示策略的使用未能带来明显的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和机器人规划等。通过验证LLM代理的规划能力，可以提升其在复杂任务中的表现，推动智能系统的实际应用和发展。

📄 摘要（原文）

LLM-based agents are increasingly credited with the competences of practical reasoning: planning, monitoring, and correcting their own actions. Their success is attributed to the prompting strategies and agent architectures built around the model, such as chain-of-thought, search-based prompting, self-refinement, reflection, critics and tool-using loops. Yet these claims are usually supported by end-to-end success rates, which show only whether a task was completed, or by LLM judges, which are not verifiers. We test LLM planning against formal semantics. Tasks are posed in natural language, but each is grounded in a hidden PDDL model that decides whether every action is applicable, whether the goal is reached, and whether a plan exists at all. Across five domains (two of them new, all released with the paper), four models, six prompting strategies and three agent architectures, the best configuration solves 78% of the solvable tasks offline but only 40% online, where agents mostly act without inspecting the state. Unsolvable tasks are recognised in under 10% of episodes, and heavier prompting strategies use 5 to 22 times as many tokens as direct prompting with no clear gain. In our experiments, planning performance varied more across models than across prompting strategies or agent architectures. Claims that agents can plan require evidence from validated action traces.