ToRL: Scaling Tool-Integrated RL

📄 arXiv: 2503.23383v1 📥 PDF

作者: Xuefeng Li, Haoyang Zou, Pengfei Liu

分类: cs.CL

发布日期: 2025-03-30

💡 一句话要点

提出ToRL框架，通过强化学习训练LLM自主使用计算工具，显著提升数学问题求解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具集成 强化学习 大型语言模型 数学问题求解 自主学习

📋 核心要点

  1. 现有方法难以让LLM自主探索工具使用的最佳策略，限制了其解决复杂问题的能力。
  2. ToRL框架通过强化学习，使LLM能够自主学习和优化工具使用策略，无需人工干预。
  3. 实验表明，ToRL显著提升了LLM在数学问题上的求解能力，并涌现出多种智能行为。

📝 摘要（中文）

本文介绍了一种名为ToRL（Tool-Integrated Reinforcement Learning，工具集成强化学习）的框架，用于训练大型语言模型（LLMs）通过强化学习自主使用计算工具。与监督微调不同，ToRL允许模型探索和发现工具使用的最佳策略。在Qwen2.5-Math模型上的实验表明，ToRL取得了显著的改进：ToRL-7B在AIME~24上达到了43.3%的准确率，超过了未集成工具的强化学习方法14%，并且比现有的最佳工具集成推理（TIR）模型高出17%。进一步的分析揭示了涌现行为，例如战略性工具调用、对无效代码的自我调节以及计算和分析推理之间的动态适应，所有这些都纯粹通过奖励驱动的学习产生。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在复杂问题求解过程中，如何有效利用外部计算工具的问题。现有方法，如监督微调，依赖于人工标注的工具使用示例，限制了模型探索最优工具使用策略的能力，且泛化性较差。此外，如何让模型在推理过程中自主决定何时、何地、以及如何使用工具，也是一个挑战。

核心思路：ToRL的核心思路是利用强化学习（RL）来训练LLM，使其能够自主地学习和优化工具使用策略。通过定义合适的奖励函数，引导模型探索不同的工具使用方式，并根据环境反馈调整策略。这种方法允许模型发现人工难以设计的工具使用模式，从而提高问题求解的效率和准确性。

技术框架：ToRL框架主要包含以下几个模块：1) LLM作为智能体，负责生成推理步骤和工具调用指令；2) 环境模拟器，负责执行工具调用指令，并返回执行结果；3) 奖励函数，根据模型行为和环境反馈，计算奖励值；4) 强化学习算法，用于更新LLM的策略，使其能够最大化累积奖励。整个流程是一个循环迭代的过程，LLM不断与环境交互，学习更有效的工具使用策略。

关键创新：ToRL的关键创新在于将强化学习与工具集成推理相结合，使得LLM能够自主地学习工具使用策略。与传统的监督学习方法相比，ToRL不需要人工标注的工具使用示例，而是通过奖励驱动的学习，让模型自主探索最优策略。此外，ToRL还能够发现人工难以设计的工具使用模式，从而提高问题求解的效率和准确性。

关键设计：在具体实现上，论文采用了Qwen2.5-Math模型作为LLM，并设计了针对数学问题求解的奖励函数。奖励函数综合考虑了模型输出的正确性、工具使用的效率以及推理过程的合理性。此外，论文还探索了不同的强化学习算法，如PPO等，并针对工具集成推理的特点进行了优化。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ToRL-7B在AIME~24数学问题集上达到了43.3%的准确率，相比于未集成工具的强化学习方法提升了14%，并且超越了现有的最佳工具集成推理（TIR）模型17%。实验结果表明，ToRL能够有效地提升LLM在复杂问题求解上的能力，并涌现出战略性工具调用、无效代码自我调节以及计算和分析推理动态适应等智能行为。

🎯 应用场景

ToRL框架具有广泛的应用前景，可应用于数学、科学、工程等多个领域。通过集成各种计算工具，ToRL可以帮助LLM解决更加复杂和实际的问题。例如，在金融领域，ToRL可以利用金融计算工具进行风险评估和投资决策；在医疗领域，ToRL可以利用医学数据库和模拟工具进行疾病诊断和治疗方案设计。此外，ToRL还可以应用于智能客服、自动化编程等领域，提高工作效率和智能化水平。

📄 摘要（原文）

We introduce ToRL (Tool-Integrated Reinforcement Learning), a framework for training large language models (LLMs) to autonomously use computational tools via reinforcement learning. Unlike supervised fine-tuning, ToRL allows models to explore and discover optimal strategies for tool use. Experiments with Qwen2.5-Math models show significant improvements: ToRL-7B reaches 43.3\% accuracy on AIME~24, surpassing reinforcement learning without tool integration by 14\% and the best existing Tool-Integrated Reasoning (TIR) model by 17\%. Further analysis reveals emergent behaviors such as strategic tool invocation, self-regulation of ineffective code, and dynamic adaptation between computational and analytical reasoning, all arising purely through reward-driven learning.