Do LLM Agents Execute the Plans They Declare? From Planning-Mode Declaration to Pattern-Specific Execution
作者: Subba Reddy Oota, Francisco Herrera, Jordi Cabot Sagrera, Marcos López de Prado, Shadab Khan
分类: cs.AI, cs.LG
发布日期: 2026-09-29
备注: 51 pages, 8 figures
💡 一句话要点
提出规划作为路由的方法以解决计划执行差距问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 规划执行 模式选择 任务成功率 智能代理
📋 核心要点
- 现有的规划-执行系统在选择合适的计划和忠实执行方面存在不足，导致任务成功率低。
- 本文提出了一种新的方法——规划作为路由，利用LLM声明不同的规划模式并通过路由器分派给特定执行器。
- 实验结果表明，模式特定执行器显著提高了任务成功率，尤其是在复杂环境中，成功率从0.48提升至0.92。
📝 摘要（中文）
大型语言模型（LLMs）使得代理能够通过生成计划并在环境中执行来解决长时间跨度的任务。然而，成功的规划需要选择合适的计划和忠实执行两个不同的能力。现有的规划-执行系统在这两个阶段都可能失败，而仅凭最终任务成功无法区分选择和执行的失败。因此，本文研究了计划声明与执行之间的差距，并引入了规划作为路由的方法，LLM声明四种规划模式：预定义、顺序、层次或搜索，并通过确定性路由器将任务分派给相应的模式特定执行器。在四个基准和三个LLM上，我们发现了三个一致的模式。首先，通用的Plan+ReAct在较长计划中常常无法保持声明的规划结构。其次，规划模式的有效性在不同环境和模型中有所不同。最后，执行的改进带来了最大的收益。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在执行计划时的选择和执行能力不足的问题。现有方法在这两个阶段都可能失败，导致任务成功率低下。
核心思路：论文提出的核心思路是规划作为路由，通过让LLM声明不同的规划模式，并利用确定性路由器将任务分派给相应的模式特定执行器，从而提高执行的准确性和效率。
技术框架：整体架构包括四个主要模块：1) LLM生成计划并声明规划模式；2) 确定性路由器根据声明的模式分派任务；3) 模式特定执行器执行任务；4) 评估执行结果与计划的一致性。
关键创新：最重要的技术创新点在于引入了规划模式的声明与执行之间的路由机制，这与现有方法的直接执行方式有本质区别，能够更好地保持计划结构。
关键设计：在设计中，采用了四种规划模式（预定义、顺序、层次、搜索），并通过实验确定了每种模式在不同环境中的有效性，优化了执行器的选择策略。具体参数设置和损失函数的设计在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模式特定执行器在ALFWorld环境中将任务成功率从0.48提升至0.92，在SWE-bench中从0.36提升至0.44，显著优于通用的Plan+ReAct方法，验证了规划模式选择和执行的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能代理、自动化任务执行和复杂系统中的决策支持。通过提高计划执行的可靠性，能够在机器人、游戏AI和智能助手等领域实现更高效的任务处理，未来可能推动更智能的自主系统的发展。
📄 摘要（原文）
Large language models (LLMs) enable agents to solve long-horizon tasks by generating a plan and then executing it in an environment. However, successful planning requires two distinct capabilities: selecting an appropriate plan for the task and executing it faithfully. Existing planner--executor systems can fail at either stage, while final task success alone cannot distinguish selection from execution failures. We therefore study the Plan Declaration--Execution Gap and introduce Planning-as-Routing, where an LLM declares one of four planning modes: Predefined, Sequential, Hierarchical, or Search, and a deterministic router dispatches the task to the corresponding pattern-specific executor. Across four benchmarks and three LLMs, we find three consistent patterns. First, generic Plan+ReAct often fails to preserve declared planning structure, especially for longer plans: across three benchmarks, only (22)--(45%) of trajectories preserve it, whereas pattern-specific executors enforce the intended structure. Second, planning-mode effectiveness varies across environments and models: Search performs best on ALFWorld, Hierarchical on SWE-bench, and the strongest pattern can vary across models within the same benchmark. Third, the largest gains come from execution: pattern-specific executors improve task success from (0.48) to (0.92) on ALFWorld and from (0.36) to (0.44) on SWE-bench Verified over Plan+ReAct. Current LLMs, however, do not reliably select the strongest mode for each task, although few-shot examples improve selection in some benchmark--model combinations. Overall, reliable agent planning requires both effective mode selection and faithful execution: routing substantially closes the execution gap, while task-specific mode selection remains open.