TUMS: Enhancing Tool-use Abilities of LLMs with Multi-structure Handlers

📄 arXiv: 2505.08402v1 📥 PDF

作者: Aiyao He, Sijia Cui, Shuai Xu, Yanna Wang, Bo Xu

分类: cs.CL

发布日期: 2025-05-13

备注: Accepted to ICONIP 2024

💡 一句话要点

TUMS：利用多结构处理器增强LLM的工具使用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具使用 参数生成 任务分解 意图识别 多结构处理器 ToolQA

📋 核心要点

  1. 现有LLM在工具使用中面临非可执行动作和不当动作问题，主要原因是参数生成不准确，且缺乏对不同工具难度的区分。
  2. TUMS框架将工具级处理转化为参数级处理，通过意图识别、任务分解和多结构处理器，更精确地生成工具参数。
  3. 实验表明，TUMS框架在ToolQA基准测试中，简单和困难任务上分别平均提高了19.6%和50.6%，验证了其有效性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在解决各种自然语言处理任务中发挥着越来越重要的作用，这得益于它们对自然语言的理解和生成能力。与外部工具的集成进一步增强了LLMs的有效性，提供了更精确、及时和专业的响应。然而，LLMs仍然面临非可执行动作和不当动作的困难，这主要归因于不正确的参数。LLMs生成参数的过程仅限于工具级别，采用粗粒度策略，而没有考虑各种工具的不同难度。为了解决这个问题，我们提出了TUMS，这是一个新颖的框架，旨在通过将工具级处理转换为参数级处理来增强LLMs的工具使用能力。具体来说，我们的框架由四个关键组件组成：（1）意图识别器，用于识别用户的意图，以帮助LLMs更好地理解任务；（2）任务分解器，用于将复杂任务分解为更简单的子任务，每个子任务都涉及工具调用；（3）配备多结构处理器的子任务处理器，用于生成准确的参数；（4）执行器。我们的实证研究证明了TUMS框架的有效性和效率，在ToolQA的简单和困难基准测试中分别平均提高了19.6％和50.6％，同时，我们通过消融实验证明了每个部分的关键贡献，从而提供了更多的见解并激发了未来对工具增强型LLMs的研究。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在利用外部工具解决复杂任务时，经常出现参数错误的问题，导致工具调用失败或产生不符合预期的结果。现有的方法通常在工具层面进行参数生成，缺乏对不同工具和参数难度的细粒度控制，导致LLM难以准确理解和执行用户的意图。

核心思路：TUMS框架的核心思想是将工具使用过程中的参数生成从工具级别细化到参数级别。通过引入意图识别和任务分解，将复杂任务拆解为更小的、参数化的子任务，并利用多结构处理器针对不同类型的参数进行优化生成，从而提高参数的准确性和工具使用的成功率。

技术框架：TUMS框架包含四个主要模块：（1）意图识别器：用于理解用户的意图，为后续的任务分解提供指导。（2）任务分解器：将复杂任务分解为一系列子任务，每个子任务对应一个工具调用。（3）子任务处理器：配备多结构处理器，针对每个子任务生成准确的参数。多结构处理器包含针对不同参数类型的处理模块，例如数值型、文本型等。（4）执行器：执行生成的工具调用，并返回结果。

关键创新：TUMS的关键创新在于将工具使用过程中的参数生成从工具级别细化到参数级别，并引入了多结构处理器来针对不同类型的参数进行优化生成。这种细粒度的控制使得LLM能够更准确地理解和执行用户的意图，从而提高了工具使用的成功率。与现有方法相比，TUMS不再是简单地将整个工具作为一个黑盒来处理，而是深入到工具内部，对每个参数进行精细化的控制。

关键设计：多结构处理器是TUMS框架中的关键组件。它包含针对不同参数类型的处理模块，例如数值型、文本型等。每个处理模块都包含特定的模型和算法，用于生成该类型的参数。例如，对于数值型参数，可以使用回归模型或生成模型来预测参数值；对于文本型参数，可以使用语言模型来生成参数文本。此外，TUMS还使用了消融实验来验证每个模块的贡献，并对框架进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TUMS框架在ToolQA基准测试中取得了显著的性能提升。在简单基准测试中，TUMS的性能平均提高了19.6%，而在困难基准测试中，性能平均提高了50.6%。消融实验表明，每个模块都对TUMS的性能提升做出了贡献，其中多结构处理器是性能提升的关键因素。这些结果证明了TUMS框架的有效性和效率。

🎯 应用场景

TUMS框架具有广泛的应用前景，可以应用于各种需要LLM与外部工具交互的场景，例如智能助手、自动化流程、科学研究等。通过提高LLM工具使用的准确性和效率，TUMS可以帮助用户更轻松地完成各种复杂任务，并提高工作效率。未来，TUMS可以进一步扩展到支持更多类型的工具和参数，并与其他技术相结合，例如强化学习，以进一步提高LLM的工具使用能力。

📄 摘要（原文）

Recently, large language models(LLMs) have played an increasingly important role in solving a wide range of NLP tasks, leveraging their capabilities of natural language understanding and generating. Integration with external tools further enhances LLMs' effectiveness, providing more precise, timely, and specialized responses. However, LLMs still encounter difficulties with non-executable actions and improper actions, which are primarily attributed to incorrect parameters. The process of generating parameters by LLMs is confined to the tool level, employing the coarse-grained strategy without considering the different difficulties of various tools. To address this issue, we propose TUMS, a novel framework designed to enhance the tool-use capabilities of LLMs by transforming tool-level processing into parameter-level processing. Specifically, our framework consists of four key components: (1) an intent recognizer that identifies the user's intent to help LLMs better understand the task; (2) a task decomposer that breaks down complex tasks into simpler subtasks, each involving a tool call; (3) a subtask processor equipped with multi-structure handlers to generate accurate parameters; and (4) an executor. Our empirical studies have evidenced the effectiveness and efficiency of the TUMS framework with an average of 19.6\% and 50.6\% improvement separately on easy and hard benchmarks of ToolQA, meanwhile, we demonstrated the key contribution of each part with ablation experiments, offering more insights and stimulating future research on Tool-augmented LLMs.