MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use

作者: Yue Huang, Jiawen Shi, Yuan Li, Chenrui Fan, Siyuan Wu, Qihui Zhang, Yixin Liu, Pan Zhou, Yao Wan, Neil Zhenqiang Gong, Lichao Sun

分类: cs.SE, cs.CL

发布日期: 2023-10-04 (更新: 2024-12-04)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MetaTool基准以评估大型语言模型的工具使用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具使用 智能代理 决策过程 基准评估 自然语言处理 数据集构建

📋 核心要点

现有研究主要关注LLMs如何与特定工具协作，但缺乏对其工具使用意识和选择能力的系统评估。
本文提出MetaTool基准，通过创建ToolE数据集，设计了工具使用意识和选择的任务，评估LLMs在不同场景下的表现。
实验结果表明，尽管大多数LLMs在工具选择上表现不佳，但通过错误分析发现仍有显著的改进空间。

📝 摘要（中文）

大型语言模型（LLMs）因其出色的自然语言处理能力而备受关注。近期的研究主要集中在LLMs的工具利用能力上，探讨其如何与特定工具有效协作。然而，在LLMs作为智能代理的应用场景中，如AutoGPT和MetaGPT，LLMs需要进行复杂的决策过程，包括是否使用工具以及从可用工具中选择最合适的工具。为此，本文提出了MetaTool基准，旨在评估LLMs的工具使用意识及其选择工具的能力。我们创建了ToolE数据集，包含多种用户查询，设置了工具使用意识和工具选择的任务。实验结果显示，大多数LLMs在工具选择上仍存在困难，表明LLMs与真正的智能代理之间存在差距。最后，我们为工具开发者提供了建议，强调选择合适的重写模型以生成新描述的重要性。

🔬 方法详解

问题定义：本文旨在解决LLMs在复杂决策中是否使用工具及如何选择合适工具的问题。现有方法未能充分评估LLMs的工具使用意识和选择能力，导致其在智能代理应用中的表现不足。

核心思路：论文提出MetaTool基准，通过ToolE数据集评估LLMs的工具使用意识和选择能力，设计多种任务以覆盖不同的工具选择场景。

技术框架：整体架构包括数据集构建、任务设计和实验评估三个主要模块。ToolE数据集包含多种用户查询，任务分为工具使用意识和工具选择两大类。

关键创新：最重要的创新在于系统性地评估LLMs的工具选择能力，定义了四个不同的子任务，涵盖相似选择、特定场景、可靠性问题和多工具选择，填补了现有研究的空白。

关键设计：在任务设计中，考虑了不同类型的用户查询和工具选择场景，确保数据集的多样性和代表性。实验中对八种流行的LLMs进行了评估，分析了其在工具选择上的表现和错误类型。

🖼️ 关键图片

fig_0

fig_1

fig_2

📊 实验亮点

实验结果显示，尽管大多数LLMs在工具选择任务中表现不佳，只有少数模型能够有效选择合适的工具，表明LLMs与真正智能代理之间存在显著差距。通过错误分析，发现存在显著的改进空间，提示未来研究方向。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化系统和人机交互等。通过提升LLMs的工具使用能力，可以增强其在复杂任务中的表现，推动智能代理技术的发展，提升用户体验和工作效率。

📄 摘要（原文）

Large language models (LLMs) have garnered significant attention due to their impressive natural language processing (NLP) capabilities. Recently, many studies have focused on the tool utilization ability of LLMs. They primarily investigated how LLMs effectively collaborate with given specific tools. However, in scenarios where LLMs serve as intelligent agents, as seen in applications like AutoGPT and MetaGPT, LLMs are expected to engage in intricate decision-making processes that involve deciding whether to employ a tool and selecting the most suitable tool(s) from a collection of available tools to fulfill user requests. Therefore, in this paper, we introduce MetaTool, a benchmark designed to evaluate whether LLMs have tool usage awareness and can correctly choose tools. Specifically, we create a dataset called ToolE within the benchmark. This dataset contains various types of user queries in the form of prompts that trigger LLMs to use tools, including both single-tool and multi-tool scenarios. Subsequently, we set the tasks for both tool usage awareness and tool selection. We define four subtasks from different perspectives in tool selection, including tool selection with similar choices, tool selection in specific scenarios, tool selection with possible reliability issues, and multi-tool selection. We conduct experiments involving eight popular LLMs and find that the majority of them still struggle to effectively select tools, highlighting the existing gaps between LLMs and genuine intelligent agents. However, through the error analysis, we found there is still significant room for improvement. Finally, we conclude with insights for tool developers -- we strongly recommend that tool developers choose an appropriate rewrite model for generating new descriptions based on the downstream LLM the tool will apply to. Our code is in https://github.com/HowieHwong/MetaTool.