From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions

📄 arXiv: 2410.08197v2 📥 PDF

作者: Changle Qu, Sunhao Dai, Xiaochi Wei, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Jun Xu, Ji-Rong Wen

分类: cs.CL, cs.AI

发布日期: 2024-10-10 (更新: 2025-02-26)

备注: ICLR 2025 Oral;GitHub:https://github.com/quchangle1/DRAFT

💡 一句话要点

DRAFT框架：通过自驱动交互动态优化工具文档，提升LLM工具使用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具学习 文档优化 自驱动交互 迭代学习

📋 核心要点

  1. 现有工具文档不足和不准确，导致LLM难以理解和有效利用外部工具，成为工具学习的关键挑战。
  2. DRAFT框架通过LLM与工具的自驱动交互，迭代地收集经验、学习并重写文档，动态优化工具文档质量。
  3. 实验表明，DRAFT显著提升了文档质量，增强了LLM对工具的理解和利用，并具备良好的跨模型泛化能力。

📝 摘要（中文）

本文提出了一种名为DRAFT的框架，旨在通过分析来自LLM与外部工具交互的反馈和试验，动态地改进工具文档。该方法采用了一种创新的试错方法，包括经验收集、从经验中学习和文档重写三个不同的学习阶段，以迭代地增强工具文档。通过实施促进多样性的探索策略，确保探索的多样性，并采用工具自适应的终止机制，防止过拟合，同时提高效率。在多个数据集上进行的大量实验表明，DRAFT的迭代、基于反馈的改进显著提高了文档质量，促进了LLM对工具的更深入理解和更有效利用。值得注意的是，分析表明，通过该方法改进的工具文档表现出强大的跨模型泛化能力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在使用工具时，由于现有工具文档质量不高（不足或不准确）而导致的理解和使用障碍。现有的工具文档通常是人为编写的，难以全面覆盖工具的各种使用场景和潜在问题，从而限制了LLM有效利用工具的能力。

核心思路：论文的核心思路是通过LLM与工具的自驱动交互，让LLM在实际使用中探索工具的功能和特性，并根据交互反馈动态地改进工具文档。这种“从实践中学习”的方法能够更全面、准确地反映工具的真实使用情况，从而帮助LLM更好地理解和利用工具。

技术框架：DRAFT框架包含三个主要阶段：1) 经验收集：LLM根据当前工具文档，尝试使用工具并记录交互过程和结果。采用多样性促进策略，鼓励LLM探索不同的工具使用方式。2) 从经验中学习：LLM分析收集到的交互数据，识别文档中的不足或错误，并生成改进建议。3) 文档重写：LLM根据改进建议，重写工具文档，使其更准确、更易于理解。整个过程迭代进行，直到满足预设的终止条件（例如，文档质量达到一定水平或迭代次数达到上限）。

关键创新：DRAFT的关键创新在于其自驱动的迭代学习方式。与传统的静态工具文档编写方法不同，DRAFT允许LLM主动探索和学习工具，并根据实际使用情况动态地改进文档。这种方法能够更有效地弥合LLM与外部工具之间的理解差距。此外，多样性促进策略和工具自适应终止机制也提高了框架的效率和鲁棒性。

关键设计：DRAFT框架的关键设计包括：1) 多样性促进策略：通过鼓励LLM尝试不同的工具参数组合和使用方式，增加探索的广度和深度。具体实现方式未知。2) 工具自适应终止机制：根据工具的复杂度和LLM的学习进度，动态调整迭代次数。具体实现方式未知。3) 文档重写策略：使用LLM生成更清晰、更易于理解的工具文档。具体实现方式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DRAFT框架能够显著提高工具文档的质量，并提升LLM对工具的利用能力。具体性能数据未知，但论文强调了DRAFT在多个数据集上的有效性，以及其改进的工具文档具有强大的跨模型泛化能力。DRAFT框架相较于人工编写的工具文档，能让LLM更好地理解和使用工具。

🎯 应用场景

该研究成果可应用于各种需要LLM与外部工具交互的场景，例如智能客服、自动化流程、科学研究等。通过提高LLM对工具的理解和利用能力，可以显著提升这些应用的效率和智能化水平。未来，该方法有望推广到更多类型的工具和LLM，促进人机协作的进一步发展。

📄 摘要（原文）

Tool learning enables Large Language Models (LLMs) to interact with external environments by invoking tools, serving as an effective strategy to mitigate the limitations inherent in their pre-training data. In this process, tool documentation plays a crucial role by providing usage instructions for LLMs, thereby facilitating effective tool utilization. This paper concentrates on the critical challenge of bridging the comprehension gap between LLMs and external tools due to the inadequacies and inaccuracies inherent in existing human-centric tool documentation. We propose a novel framework, DRAFT, aimed at Dynamically Refining tool documentation through the Analysis of Feedback and Trials emanating from LLMs' interactions with external tools. This methodology pivots on an innovative trial-and-error approach, consisting of three distinct learning phases: experience gathering, learning from experience, and documentation rewriting, to iteratively enhance the tool documentation. This process is further optimized by implementing a diversity-promoting exploration strategy to ensure explorative diversity and a tool-adaptive termination mechanism to prevent overfitting while enhancing efficiency. Extensive experiments on multiple datasets demonstrate that DRAFT's iterative, feedback-based refinement significantly ameliorates documentation quality, fostering a deeper comprehension and more effective utilization of tools by LLMs. Notably, our analysis reveals that the tool documentation refined via our approach demonstrates robust cross-model generalization capabilities.