MATCH: Model-Aware Tool Learning with Curriculum Scheduling and Hierarchically Gated Rewards

📄 arXiv: 2609.20082v1 📥 PDF

作者: Shihao Liu, Hao Yin, Lijun Liu, Zhengzong Chen, Yuanyuan Zhao, Fei Huang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-09-17

💡 一句话要点

提出MATCH框架以解决工具学习中的课程调度与奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具学习 强化学习 课程调度 奖励机制 模型感知 自然语言处理 智能助手

📋 核心要点

  1. 现有工具学习方法在课程调度和奖励机制上存在固定阈值和信用泄漏的问题，导致优化效果不佳。
  2. 本文提出MATCH框架，通过模型感知课程学习和分层门控奖励，动态调整样本难度和奖励结构，提升工具调用的准确性。
  3. 实验结果显示，MATCH在多个基准数据集上显著提高了准确率，验证了其在工具学习中的有效性和优越性。

📝 摘要（中文）

工具学习使大型语言模型（LLMs）能够利用外部工具执行超出参数知识的任务。尽管强化学习可以通过反馈优化工具调用行为，但现有方法仍面临两个问题：固定阈值的课程可能与策略的能力边界不匹配，以及加性奖励可能在预测工具错误时泄漏参数级别的信用。为了解决这些问题，本文提出了MATCH，一个闭环框架，结合了模型感知的工具学习、课程调度和分层门控奖励。模型感知课程学习（MACL）维护与策略共同演化的奖励导向样本难度，而分层工具调用门控奖励（HTGR）在每个层级上仅在前提条件满足时授予信用。实验结果表明，MATCH在API-Bank和BFCL V3上分别达到了72.19%和62.87%的整体准确率，超越了主要的监督和基于强化学习的基线。

🔬 方法详解

问题定义：本文旨在解决工具学习中课程调度与奖励机制的不足，现有方法在策略能力演变过程中难以适应，且奖励结构可能导致信用泄漏。

核心思路：提出MATCH框架，通过模型感知课程学习（MACL）和分层工具调用门控奖励（HTGR），实现动态调整样本难度和奖励，确保策略优化与样本调度之间的闭环。

技术框架：MATCH框架包括两个主要模块：MACL负责根据策略的能力边界选择样本并调整难度，HTGR则在工具调用的不同层级上进行奖励评分，确保只有在满足前提条件时才授予信用。

关键创新：MATCH的创新在于将课程学习与奖励机制结合，形成闭环优化，解决了传统方法中固定阈值与信用泄漏的问题，从而提升了工具调用的准确性。

关键设计：在设计中，MACL根据策略的演变动态选择样本，并结合top-k池中的困难案例；HTGR则通过分层评分机制，确保在每个层级上只有在满足条件时才给予奖励，从而有效避免了信用泄漏。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MATCH在API-Bank和BFCL V3数据集上分别达到了72.19%和62.87%的整体准确率，显著超越了主要的监督学习和强化学习基线，展示了其在工具学习中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的工具调用、智能助手、自动化任务执行等。通过提升工具学习的准确性，MATCH框架能够增强大型语言模型在复杂任务中的表现，推动智能系统的进一步发展与应用。

📄 摘要（原文）

Tool learning enables large language models (LLMs) to use external tools for tasks beyond parametric knowledge. Reinforcement learning can optimize tool-call behavior from feedback, but current methods still face two problems: fixed-threshold curricula can become misaligned with the policy's evolving capability boundary, and additive rewards can leak argument-level credit when the predicted tool is wrong. To address these problems, we propose MATCH, a closed-loop framework for model-aware tool learning with curriculum scheduling and hierarchically gated rewards. Model-Aware Curriculum Learning (MACL) maintains reward-derived sample difficulty that co-evolves with the policy, and each epoch selects samples near the current capability boundary together with a top-k pool of harder cases. Hierarchical Tool-call Gated Reward (HTGR) scores tool name, argument key, and argument value as a gated chain, granting credit at each level only when prerequisites hold. The same HTGR rewards drive both GRPO updates and MACL's difficulty refresh, closing the loop between policy optimization and sample scheduling. On API-Bank and BFCL V3, MATCH reaches 72.19% and 62.87% overall accuracy, outperforming the main supervised and RL-based baselines. Backbone experiments further show consistent improvements across four backbones from two model families.