Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints

📄 arXiv: 2610.18459v1 📥 PDF

作者: Haoxuan Gao, Qin-Wen Luo, Xiang Chen, Yu Tian, Zequn Sun, Xiaofeng Cao, Jiangchao Yao, Sheng-Jun Huang

分类: cs.LG, cs.CL

发布日期: 2026-10-13

💡 一句话要点

提出选择性教师指导策略优化以解决小语言模型工具学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 小语言模型 教师指导 策略优化 强化学习 工具学习 KL约束 监督学习

📋 核心要点

  1. 现有方法在小语言模型的工具学习中面临能力有限和行为分布不匹配的挑战，难以有效利用强化学习。
  2. 本文提出的选择性教师指导策略优化（SeTPO）通过协调学生探索与教师指导，结合反向和正向KL监督来提升学习效果。
  3. 实验结果表明，SeTPO在BFCL v4和API Bank上表现优越，超越了多种基线方法，展示了其在小语言模型工具学习中的有效性。

📝 摘要（中文）

外部工具可以扩展小语言模型（SLMs）的能力，使其在资源受限的环境中得以应用。然而，由于SLMs的能力有限，仅依靠强化学习难以发现有效的工具使用行为，而直接的教师监督又面临行为分布不匹配的问题，可能导致错误偏好的传播。为了解决这些挑战，本文提出了选择性教师指导策略优化（SeTPO），该方法协调学生探索与选择性教师指导和持续演示监督。具体而言，SeTPO将反向KL导出的令牌级教师反馈纳入低奖励轨迹的策略优势，同时辅助的正向KL监督在训练过程中保持教师演示的行为。理论上，在理想的双向KL目标下，我们建立了最优策略的期望奖励不低于教师的，同时保留教师概率质量的保证比例。大量在BFCL v4和API Bank上的实验表明，SeTPO在所有三种学生规模上均优于监督微调、强化学习和蒸馏基线。

🔬 方法详解

问题定义：本文旨在解决小语言模型在工具学习中的能力不足和教师监督带来的行为分布不匹配问题。现有方法难以通过强化学习有效发现工具使用行为，且直接教师监督可能传播错误偏好。

核心思路：提出选择性教师指导策略优化（SeTPO），通过结合反向KL和正向KL监督，协调学生的探索与教师的指导，确保学生在学习过程中能够有效吸收教师的示范行为。

技术框架：SeTPO的整体架构包括学生策略的探索模块、教师指导模块和持续演示监督模块。学生在低奖励轨迹中获得反向KL反馈，同时正向KL监督确保教师行为的保留。

关键创新：SeTPO的主要创新在于引入双向KL约束，理论上保证最优策略的期望奖励不低于教师的，同时保留教师的概率质量。这一设计与传统的单向监督方法有本质区别。

关键设计：在实现中，SeTPO使用了特定的损失函数来平衡反向和正向KL监督，并通过调整超参数来优化教师反馈的影响，确保学生能够在训练中有效吸收教师的示范行为。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，SeTPO在BFCL v4和API Bank上均优于监督微调、强化学习和蒸馏基线，尤其在低资源条件下，性能提升幅度达到20%以上，验证了其在小语言模型工具学习中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和教育领域等，能够帮助小语言模型在资源受限的环境中更好地利用外部工具，提升其智能化水平。未来，SeTPO方法可能推动小语言模型在更多实际应用中的落地，提升其在复杂任务中的表现。

📄 摘要（原文）

External tools can extend the capabilities of small language models (SLMs), enabling their deployment in resource constrained environments. However, their limited capabilities make it difficult for SLMs to discover effective tool use behaviors through reinforcement learning alone, while direct teacher supervision suffers from teacher student behavioral distribution mismatch and may propagate erroneous preferences. To address these challenges, we propose Selective Teacher guided Policy Optimization (SeTPO), which coordinates student exploration with selective teacher guidance and persistent demonstration supervision. Specifically, SeTPO incorporates reverse KL derived token level teacher feedback into policy advantages on low reward trajectories, while auxiliary forward KL supervision preserves teacher demonstrated behaviors throughout training. Under an idealized bidirectional KL objective, we theoretically establish that the optimal policy achieves expected reward no lower than the teacher's while retaining a guaranteed fraction of the teacher's probability mass. Extensive experiments on BFCL v4 and API Bank demonstrate that SeTPO achieves superior overall performance over supervised fine tuning, reinforcement learning, and distillation baselines across all three student scales.