StepTool: Enhancing Multi-Step Tool Usage in LLMs via Step-Grained Reinforcement Learning

📄 arXiv: 2410.07745v4 📥 PDF

作者: Yuanqing Yu, Zhefan Wang, Weizhi Ma, Shuai Wang, Chuhan Wu, Zhiqiang Guo, Min Zhang

分类: cs.CL

发布日期: 2024-10-10 (更新: 2025-08-17)

备注: Accepted by CIKM'25

DOI: 10.1145/3746252.3761391

🔗 代码/项目: GITHUB

💡 一句话要点

StepTool：通过步粒度强化学习增强LLM的多步工具使用能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具学习 强化学习 多步决策 奖励塑造

📋 核心要点

  1. 现有工具学习方法主要依赖监督微调，忽略了多步任务中决策过程的复杂性，导致工具使用效率低下。
  2. StepTool将工具学习建模为动态决策过程，通过步粒度奖励塑造和优化，提升LLM的多步工具使用能力。
  3. 实验表明，StepTool在任务通过率和工具召回率上显著优于现有方法，并能发现新的工具使用策略。

📝 摘要（中文）

大型语言模型（LLM）虽然具有强大的文本生成能力，但在有效利用外部工具解决复杂任务方面仍然面临挑战，这被称为工具学习。现有方法主要依赖于监督微调，将工具学习视为文本生成问题，而忽略了多步上下文中固有的决策复杂性。本文提出将工具学习建模为一个动态决策过程，并引入StepTool，这是一个新颖的步粒度强化学习框架，旨在增强LLM在多步工具使用方面的能力。StepTool包含两个关键组件：步粒度奖励塑造，它根据每次工具调用的成功与否以及对任务完成的贡献来分配奖励；以及步粒度优化，它应用策略梯度方法来优化模型在多个决策步骤中的表现。在各种基准测试中进行的大量实验表明，StepTool在任务通过率和相关工具召回率方面始终优于基于SFT和基于RL的基线方法。此外，我们的分析表明，StepTool有助于模型发现新的工具使用策略，而不仅仅是重新加权先前的知识。这些结果突出了细粒度决策建模在工具学习中的重要性，并将StepTool确立为一种通用且稳健的解决方案，用于增强LLM中的多步工具使用。

🔬 方法详解

问题定义：现有的大型语言模型在多步工具使用任务中表现不佳，主要原因是现有方法将工具学习视为简单的文本生成问题，忽略了在多步决策过程中每一步选择工具的重要性以及工具之间的依赖关系。监督微调方法无法有效处理这种复杂的决策过程，导致模型难以发现最优的工具使用策略。

核心思路：StepTool的核心思路是将工具学习建模为一个动态决策过程，并采用强化学习的方法来优化模型在每一步的工具选择。通过细粒度的奖励机制，鼓励模型选择能够成功调用并有助于任务完成的工具。这种方法能够更好地捕捉多步决策过程中的复杂性，从而提升模型的工具使用能力。

技术框架：StepTool框架主要包含两个关键组件：步粒度奖励塑造（Step-grained Reward Shaping）和步粒度优化（Step-grained Optimization）。首先，步粒度奖励塑造根据每个工具调用的结果（成功或失败）以及其对最终任务完成的贡献来分配奖励。然后，步粒度优化使用策略梯度方法，在每个决策步骤中优化模型的策略，使其能够选择更有可能获得高奖励的工具。整个过程通过强化学习不断迭代，最终提升模型的多步工具使用能力。

关键创新：StepTool的关键创新在于其步粒度的奖励和优化机制。传统的强化学习方法通常只关注最终结果的奖励，而StepTool则关注每一步工具调用的结果，并根据其对最终结果的贡献来分配奖励。这种细粒度的奖励机制能够更有效地引导模型学习最优的工具使用策略。此外，StepTool采用步粒度的优化方法，在每个决策步骤中优化模型，使其能够更好地适应多步决策过程中的复杂性。

关键设计：StepTool使用策略梯度方法进行优化，具体来说，使用了REINFORCE算法或类似的变体。奖励函数的设计至关重要，需要仔细考虑如何平衡工具调用的成功率和对任务完成的贡献。此外，模型的网络结构也需要能够处理多步决策过程，例如可以使用循环神经网络（RNN）或Transformer等结构来记忆之前的状态信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，StepTool在多个基准测试中显著优于基于SFT和基于RL的基线方法。例如，在某些任务中，StepTool的任务通过率比SFT方法提高了10%以上，工具召回率也得到了显著提升。此外，分析表明StepTool能够发现新的工具使用策略，而不仅仅是重新加权已有的知识。

🎯 应用场景

StepTool可应用于各种需要LLM与外部工具交互的复杂任务，例如智能客服、自动化报告生成、科学研究辅助等。通过提升LLM的工具使用能力，可以显著提高工作效率和任务完成质量，并有望在未来的智能系统中发挥重要作用。

📄 摘要（原文）

Despite their powerful text generation capabilities, large language models (LLMs) still struggle to effectively utilize external tools to solve complex tasks, a challenge known as tool learning. Existing methods primarily rely on supervised fine-tuning, treating tool learning as a text generation problem while overlooking the decision-making complexities inherent in multi-step contexts. In this work, we propose modeling tool learning as a dynamic decision-making process and introduce StepTool, a novel step-grained reinforcement learning framework that enhances LLMs' capabilities in multi-step tool use. StepTool comprises two key components: Step-grained Reward Shaping, which assigns rewards to each tool interaction based on its invocation success and contribution to task completion; and Step-grained Optimization, which applies policy gradient methods to optimize the model across multiple decision steps. Extensive experiments across diverse benchmarks show that StepTool consistently outperforms both SFT-based and RL-based baselines in terms of task Pass Rate and Recall of relevant tools. Furthermore, our analysis suggests that StepTool helps models discover new tool-use strategies rather than merely re-weighting prior knowledge. These results highlight the importance of fine-grained decision modeling in tool learning and establish StepTool as a general and robust solution for enhancing multi-step tool use in LLMs. Code and data are available at https://github.com/yuyq18/StepTool.