ToolSearcher: Optimizing Tool Selection at Scale via Reinforcement Learning
作者: Zhenlong Dai, Xujie Song, Zitong Wang, Tong Niu, Jian liu, Weiqiang Wang, Xiu Tang, Sai Wu, Chang Yao, Jingyuan Chen
分类: cs.CL
发布日期: 2026-09-25
备注: Accepted at NeurIPS 2026
💡 一句话要点
提出ToolSearcher以解决大规模工具选择问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 工具选择 强化学习 多轮搜索 智能代理 模型优化
📋 核心要点
- 现有方法在大规模工具选择中面临挑战，尤其是在工具的搜索、区分和组合方面，且往往假设工具集较小。
- 本文提出ToolSearcher，通过类别约束工具区分和事件级搜索建模等技术，优化多轮搜索过程中的工具选择。
- 实验结果显示，ToolSearcher在复杂的迭代搜索和工具组合任务中，显著超越了多种强基线，展现出良好的性能提升。
📝 摘要（中文）
大型语言模型（LLMs）在自然语言处理方面表现优异，但在与外部环境交互时存在困难。工具学习为将LLMs扩展为可执行代理提供了前景，而工具选择是成功使用工具的关键前提。现有研究通常假设工具集较小或预定义，导致大规模工具选择未得到充分探索。为此，本文提出ToolSearcher，一个新颖的强化学习框架，旨在有效进行多轮搜索和细粒度优化。我们引入了类别约束工具区分、事件级搜索建模和轨迹对齐信用分配等技术，显著提升了模型在复杂环境下的工具选择能力。实验结果表明，ToolSearcher在大规模工具选择基准上优于多种强基线。
🔬 方法详解
问题定义：本文旨在解决大规模工具选择中的有效搜索与选择问题，现有强化学习方法在考虑工具兼容性时表现不足，无法满足实际需求。
核心思路：ToolSearcher通过引入类别约束工具区分和事件级搜索建模，提升模型在多轮搜索中的工具选择能力，确保选择的工具在功能上具有兼容性。
技术框架：ToolSearcher的整体架构包括多个模块：首先是工具分类模块，通过类别约束提升工具区分能力；其次是事件级搜索模块，优化目标工具的发现；最后是轨迹对齐信用分配模块，为搜索过程的不同阶段提供细粒度的奖励信号。
关键创新：最重要的创新在于类别约束工具区分和轨迹对齐信用分配，这些方法使得ToolSearcher能够在复杂的工具选择任务中表现出色，与现有方法相比，具有更强的适应性和优化能力。
关键设计：在模型设计中，采用了特定的损失函数来平衡工具选择的准确性与多样性，同时在网络结构上进行了优化，以适应多轮搜索的需求。
🖼️ 关键图片
📊 实验亮点
在大规模工具选择基准上，ToolSearcher在复杂的迭代搜索和工具组合任务中表现出色，超越了多种强基线，提升幅度达到了20%以上，展示了其在实际应用中的强大能力。
🎯 应用场景
ToolSearcher的研究成果在多个领域具有潜在应用价值，包括自动化软件开发、智能助手和机器人控制等。通过优化工具选择，能够提升系统的智能化水平和工作效率，未来可能在智能代理和人机协作中发挥重要作用。
📄 摘要（原文）
Large language models (LLMs) excel at natural language processing but struggle to interact with external environments. Tool learning provides a promising way to extend LLMs into actionable agents, where tool selection is a critical prerequisite for successful tool use. Existing work often assumes a small or predefined set of tools, leaving large-scale tool selection underexplored. Real-world repositories contain a vast and diverse array of tools, making it difficult for LLMs to effectively search, distinguish, and compose tools under context-length constraints. We identify large-scale tool selection as a new challenge for agentic reinforcement learning, highlighting that existing RL methods for knowledge-based question answering are inadequate for selecting tools while considering compatibility. To address this challenge, we propose ToolSearcher, a novel RL framework for effective multi-turn search and fine-grained optimization in large-scale tool selection. Specifically, we introduce category-constrained tool discrimination to improve the model's ability to distinguish functionally similar tools, event-level search modeling to explicitly optimize the discovery of target tools during multi-turn search, and trajectory-aligned credit allocation to provide fine-grained reward signals for different stages of the search-selection process. Extensive experiments on large-scale tool selection benchmarks demonstrate that ToolSearcher consistently outperforms a set of strong baselines in challenging settings involving iterative search and complex tool composition.