ToolSpectrum : Towards Personalized Tool Utilization for Large Language Models

📄 arXiv: 2505.13176v2 📥 PDF

作者: Zihao Cheng, Hongru Wang, Zeming Liu, Yuhang Guo, Yuanfang Guo, Yunhong Wang, Haifeng Wang

分类: cs.CL, cs.AI

发布日期: 2025-05-19 (更新: 2025-05-22)

备注: Accepted by ACL 2025 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

ToolSpectrum：面向大语言模型的个性化工具利用基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 工具利用 个性化 用户画像 环境因素 基准测试 上下文感知 智能助手

📋 核心要点

  1. 现有工具增强型LLM侧重于功能性工具选择，忽略了用户画像和环境因素等上下文信息，导致工具利用效率低下。
  2. 论文提出ToolSpectrum基准，用于评估LLM在个性化工具利用方面的能力，重点考虑用户画像和环境因素的影响。
  3. 实验表明，个性化工具利用能显著提升用户体验，但现有LLM在联合推理用户画像和环境因素方面存在局限性。

📝 摘要（中文）

将外部工具集成到大型语言模型(LLM)中，可以增强其访问实时信息和特定领域服务的能力。然而，现有方法主要关注遵循用户指令的功能性工具选择，忽略了工具选择中上下文感知的个性化。这种疏忽导致用户满意度降低和工具利用效率低下，尤其是在重叠的工具集中，需要根据上下文因素进行细致的选择。为了弥合这一差距，我们推出了ToolSpectrum，这是一个旨在评估LLM在个性化工具利用方面的能力的基准。具体来说，我们形式化了个性化的两个关键维度：用户画像和环境因素，并分析了它们对工具利用的独立和协同影响。通过在ToolSpectrum上进行的大量实验，我们证明了个性化工具利用显著提高了各种场景中的用户体验。然而，即使是最先进的LLM在联合推理用户画像和环境因素方面也表现出有限的能力，通常会优先考虑一个维度而牺牲另一个维度。我们的研究结果强调了工具增强型LLM中上下文感知个性化的必要性，并揭示了当前模型的关键局限性。我们的数据和代码可在https://github.com/Chengziha0/ToolSpectrum 获取。

🔬 方法详解

问题定义：现有工具增强型LLM在工具选择时，主要依赖用户指令，缺乏对用户画像（如用户偏好、历史行为）和环境因素（如时间、地点）的考虑，导致无法根据具体场景选择最合适的工具，降低了用户体验和工具利用率。尤其是在多个工具功能重叠时，这种问题更加突出。

核心思路：论文的核心思路是引入个性化因素，即用户画像和环境因素，到工具选择过程中。通过让LLM理解并推理这些因素，使其能够根据用户的具体需求和所处环境，选择最合适的工具，从而提升用户体验和工具利用效率。

技术框架：ToolSpectrum基准包含多个场景，每个场景都定义了用户画像、环境因素以及可用的工具集。LLM需要根据这些信息选择合适的工具来完成任务。基准还提供了评估指标，用于衡量LLM在个性化工具利用方面的性能。整体流程为：输入用户指令、用户画像和环境因素 -> LLM进行推理并选择工具 -> 执行工具并返回结果 -> 根据评估指标评估LLM的性能。

关键创新：该论文的关键创新在于提出了一个用于评估LLM个性化工具利用能力的基准ToolSpectrum。该基准明确地将用户画像和环境因素纳入考虑，并提供了一套评估指标，为研究人员提供了一个统一的平台来评估和比较不同LLM在个性化工具利用方面的能力。与现有方法相比，ToolSpectrum更关注工具选择的上下文感知能力。

关键设计：ToolSpectrum基准的设计考虑了多种因素，包括用户画像的表示方式（例如，使用向量表示用户的偏好）、环境因素的编码方式（例如，使用时间戳表示时间信息）以及评估指标的选择（例如，使用准确率和召回率来衡量工具选择的正确性）。具体的参数设置和网络结构取决于所使用的LLM模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，个性化工具利用能够显著提升用户体验。在ToolSpectrum基准上，考虑用户画像和环境因素的LLM在工具选择的准确率和召回率方面均优于未考虑个性化因素的LLM。然而，即使是最先进的LLM在联合推理用户画像和环境因素方面仍然存在局限性，表明未来仍有很大的提升空间。

🎯 应用场景

该研究成果可应用于智能助手、个性化推荐系统等领域。通过提升LLM的个性化工具利用能力，可以为用户提供更精准、更高效的服务。例如，智能助手可以根据用户的历史行为和当前位置，选择合适的地图工具或订餐工具，从而更好地满足用户的需求。未来，该研究还可以扩展到更多领域，如智能医疗、智能教育等。

📄 摘要（原文）

While integrating external tools into large language models (LLMs) enhances their ability to access real-time information and domain-specific services, existing approaches focus narrowly on functional tool selection following user instructions, overlooking the context-aware personalization in tool selection. This oversight leads to suboptimal user satisfaction and inefficient tool utilization, particularly when overlapping toolsets require nuanced selection based on contextual factors. To bridge this gap, we introduce ToolSpectrum, a benchmark designed to evaluate LLMs' capabilities in personalized tool utilization. Specifically, we formalize two key dimensions of personalization, user profile and environmental factors, and analyze their individual and synergistic impacts on tool utilization. Through extensive experiments on ToolSpectrum, we demonstrate that personalized tool utilization significantly improves user experience across diverse scenarios. However, even state-of-the-art LLMs exhibit the limited ability to reason jointly about user profiles and environmental factors, often prioritizing one dimension at the expense of the other. Our findings underscore the necessity of context-aware personalization in tool-augmented LLMs and reveal critical limitations for current models. Our data and code are available at https://github.com/Chengziha0/ToolSpectrum.