Beyond the Leaderboard: A Synthesis of Tool-Use, Planning, and Reasoning Failures in Large Language Model Agents
作者: Wael Albayaydh, Rui Zhao, Ivan Flechais
分类: cs.AI
发布日期: 2026-07-07
备注: 16 pages, 3 tables, 1 figure
💡 一句话要点
提出统一分类法以解决大型语言模型代理的工具使用与推理失败问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 工具使用 规划失败 多代理协调 推理能力 分类法 性能评估
📋 核心要点
- 现有的大型语言模型在工具使用、规划和多代理协调等方面存在重复的失败模式，影响其整体性能。
- 本文提出了一种跨越多个评估文献的统一分类法，整合了不同领域的证据，识别出六个主要的失败集群。
- 研究发现，任务长度与失败呈非线性关系，且在单回合工具使用和短期任务中已有显著进展。
📝 摘要（中文）
大型语言模型（LLM）代理的评估越来越依赖于其工具使用、任务规划和多代理协调能力。本文综合了27篇基准、分类和审计论文，形成了一个统一的LLM代理局限性分类法，涵盖工具使用、规划、长时间推理等多个方面。我们识别出六个失败集群，包括工具调用错误、规划失败、多代理协调失败等。研究表明，任务长度与失败呈非线性关系，单个子任务的强表现并不总能转化为整体成功，同时额外的支持并不总能提高可靠性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型代理在工具使用、规划和推理等方面的失败问题。现有方法在不同评估中存在重复的失败模式，缺乏系统性的分类与分析。
核心思路：通过综合27篇相关文献，形成一个统一的分类法，识别出不同类型的失败模式，以便更好地理解和改进LLM代理的性能。
技术框架：研究通过对文献中的错误类别进行主题归类，构建了一个涵盖工具调用、规划、长时间推理等多个阶段的分类框架。主要模块包括工具使用、规划、协调和安全性等方面。
关键创新：本文首次将不同领域的证据整合为一个统一的分类法，识别出六个失败集群，提供了对LLM代理局限性的深入理解。与现有方法相比，这种综合性分析更具系统性和全面性。
关键设计：在分类过程中，研究者对不同文献中的错误进行了迭代性分组，确保每个集群都能反映出代理推理到行动过程中的不同阶段。
🖼️ 关键图片
📊 实验亮点
实验结果表明，任务长度与失败呈非线性关系，强表现的子任务未必能保证整体成功。此外，尽管在单回合工具使用和短期任务中取得了显著进展，但额外的支持措施并未始终提高模型的可靠性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化决策系统和多代理协作环境。通过识别和分类LLM代理的失败模式，可以为未来的模型设计和优化提供指导，从而提升其在复杂任务中的表现和可靠性。
📄 摘要（原文）
Large language model (LLM) agents are increasingly evaluated on their ability to use tools, plan multi-step tasks, coordinate with other agents, and operate over extended horizons. Reported benchmark gains often obscure recurring failure modes documented across otherwise unrelated evaluation efforts. This paper synthesizes 27 benchmark, taxonomy, and audit papers (2023-2026), spanning 19 distinct benchmarks, into a cross-cutting taxonomy of agent limitations. To our knowledge, this is the first synthesis that integrates evidence across tool use, planning, long-horizon reasoning, multi-agent coordination, safety, and measurement validity into a single, unified taxonomy of LLM agent limitations. We identify six failure clusters: (1) tool invocation and parameter-level errors, (2) planning and constraint-satisfaction failures, (3) long-horizon degradation from context accumulation, (4) multi-agent coordination failures, (5) safety and security failures under adversarial or underspecified conditions, and (6) measurement validity problems. The taxonomy was derived iteratively by grouping independently reported error categories into themes corresponding to distinct stages of the agent reasoning-to-action pipeline. Across the literature, we find that failures compound nonlinearly with task length, that strong performance on individual sub-tasks does not reliably translate into end-to-end success, and that additional scaffolding does not consistently improve reliability. At the same time, substantial progress has been demonstrated in single-turn tool use, short-horizon web navigation, and narrowly scoped coding tasks.