RefTool: Enhancing Model Reasoning with Reference-Guided Tool Creation

📄 arXiv: 2505.21413v1 📥 PDF

作者: Xiao Liu, Da Yin, Zirui Wu, Yansong Feng

分类: cs.CL, cs.AI

发布日期: 2025-05-27

备注: Code is available at https://github.com/xxxiaol/RefTool

💡 一句话要点

RefTool：利用参考资料引导工具创建，增强模型推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具创建 大型语言模型 参考引导 知识增强 推理能力 外部知识 分层结构

📋 核心要点

  1. 现有LLM在缺乏预定义工具时，依赖内部知识生成工具，导致在超出其知识范围的领域表现不佳。
  2. RefTool通过利用结构化外部参考资料（如教科书）引导LLM自动创建工具，克服知识限制。
  3. 实验表明，RefTool在因果关系、物理和化学基准测试中，平均准确率提升11.3%，且具有成本效益和通用性。

📝 摘要（中文）

大型语言模型（LLM）可以通过工具增强在复杂问题解决任务中的推理能力，但并非所有任务都有现成工具可用。在缺乏预定义工具的情况下，先前的工作探索了指示LLM自行生成工具。然而，这些方法严重依赖于模型的内部知识，并且在超出LLM知识范围的领域中会失败。为了解决这个限制，我们提出了RefTool，一个参考引导的自动工具创建框架，它利用结构化的外部材料，如教科书。RefTool由两个模块组成：（1）工具创建，LLM从参考内容生成可执行工具，使用说明性示例验证它们，并将它们分层组织成一个工具箱；（2）工具利用，LLM导航工具箱结构以选择和应用适当的工具来解决问题。在因果关系、物理和化学基准测试上的实验表明，RefTool的平均准确率比现有的工具创建和特定领域推理方法高出11.3%，同时具有成本效益和广泛的通用性。分析表明，将工具创建建立在参考资料的基础上可以产生准确和忠实的工具，并且分层结构有助于有效的工具选择。RefTool使LLM能够克服知识限制，证明了将工具创建建立在外部参考资料中对于增强和通用推理的价值。

🔬 方法详解

问题定义：现有的大型语言模型在解决复杂问题时，依赖预定义的工具或者自身内部知识生成工具。然而，预定义工具并非总是可用，而LLM自身生成的工具受限于其知识范围，在特定领域或超出其知识范围的任务中表现不佳。因此，如何让LLM在缺乏预定义工具且超出自身知识范围的情况下，依然能够有效地解决问题是一个挑战。

核心思路：RefTool的核心思路是利用外部的结构化参考资料（例如教科书）来引导LLM创建工具。通过将工具的创建过程与外部知识相结合，可以克服LLM自身知识的局限性，从而生成更准确、更可靠的工具。这种方法类似于人类学习新知识时，会参考教科书等外部资料，而不是完全依赖自己的经验。

技术框架：RefTool框架包含两个主要模块：工具创建和工具利用。在工具创建阶段，LLM首先从参考内容中生成可执行的工具，然后使用说明性示例验证这些工具的正确性，最后将这些工具按照层级结构组织成一个工具箱。在工具利用阶段，LLM根据问题的需求，在工具箱中导航，选择合适的工具，并将其应用于解决问题。整个流程类似于人类解决问题时，先学习相关知识，然后根据具体情况选择合适的工具来解决问题。

关键创新：RefTool的关键创新在于将工具创建过程与外部参考资料相结合。与以往依赖LLM自身知识生成工具的方法不同，RefTool利用外部知识来指导工具的创建，从而克服了LLM知识范围的限制。此外，RefTool还采用了层级结构的工具箱，方便LLM在解决问题时快速找到合适的工具。

关键设计：在工具创建阶段，需要设计合适的提示语（prompt）来引导LLM从参考内容中提取信息并生成可执行的工具。工具的验证过程需要选择合适的说明性示例，以确保工具的正确性。工具箱的层级结构需要根据任务的特点进行设计，以便LLM能够高效地导航和选择工具。具体的参数设置、损失函数和网络结构等技术细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

RefTool在因果关系、物理和化学基准测试中取得了显著的成果，平均准确率比现有的工具创建和特定领域推理方法高出11.3%。实验结果表明，RefTool能够有效地利用外部参考资料来创建准确和可靠的工具，并且层级结构的工具箱能够帮助LLM快速找到合适的工具。这些结果证明了RefTool在增强LLM推理能力方面的有效性。

🎯 应用场景

RefTool具有广泛的应用前景，可以应用于科学研究、教育、工程等多个领域。例如，在科学研究中，可以利用RefTool帮助研究人员快速创建和使用各种工具，从而加速研究进程。在教育领域，可以利用RefTool帮助学生学习新知识，并解决实际问题。在工程领域，可以利用RefTool帮助工程师设计和优化各种系统。

📄 摘要（原文）

Tools enhance the reasoning capabilities of large language models (LLMs) in complex problem-solving tasks, but not all tasks have available tools. In the absence of predefined tools, prior works have explored instructing LLMs to generate tools on their own. However, such approaches rely heavily on the models' internal knowledge and would fail in domains beyond the LLMs' knowledge scope. To address this limitation, we propose RefTool, a reference-guided framework for automatic tool creation that leverages structured external materials such as textbooks. RefTool consists of two modules: (1) tool creation, where LLMs generate executable tools from reference content, validate them using illustrative examples, and organize them hierarchically into a toolbox; and (2) tool utilization, where LLMs navigate the toolbox structure to select and apply the appropriate tools to solve problems. Experiments on causality, physics, and chemistry benchmarks demonstrate that RefTool outperforms existing tool-creation and domain-specific reasoning methods by 11.3% on average accuracy, while being cost-efficient and broadly generalizable. Analyses reveal that grounding tool creation in references produces accurate and faithful tools, and that the hierarchical structure facilitates effective tool selection. RefTool enables LLMs to overcome knowledge limitations, demonstrating the value of grounding tool creation in external references for enhanced and generalizable reasoning.