Behavior Leverage Imbalance in Multi-Teacher On-Policy Distillation

📄 arXiv: 2607.07050v1 📥 PDF

作者: Jiabin Shen, Guang Chen, Chengjun Mao

分类: cs.CL, cs.LG

发布日期: 2026-07-08

备注: 17 pages including appendix, 6 figures

💡 一句话要点

提出行为杠杆不平衡以优化多教师在线蒸馏训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多教师蒸馏 行为杠杆不平衡 工具调用 Soft Clamp 模型优化

📋 核心要点

  1. 现有的多教师在线蒸馏方法在工具调用和直接响应之间存在过度调用的问题，导致模型性能下降。
  2. 论文提出了一种行为杠杆不平衡的分析方法，并引入Soft Clamp技术来动态调整标记级散度，从而优化模型的调用行为。
  3. 实验结果表明，Soft Clamp显著降低了过度调用的比例，同时保持了决策的准确性，展示了其有效性。

📝 摘要（中文）

代理语言模型必须学习何时调用工具、何时消费工具响应以及何时直接回答。这使得多教师在线蒸馏成为一种自然的训练策略：一个教师专注于工具调用，另一个专注于直接响应，学生可以从自身生成的分布中学习。我们展示了这种策略可以引发一种在聚合损失中不可见的行为转变。在双教师工具使用设置中，普通的广义知识蒸馏提高了工具调用的召回率，但也使模型趋向于过度调用，即在应直接回答的示例上调用工具。聚合解释不足：工具调用样本并未获得更多的标记曝光，且全序列每标记的散度在工具调用教师中并不更大。我们分析了行为杠杆不平衡：局部标记级信号在模式进入和结构位置（如和函数名）上对全局生成模式具有不成比例的控制。我们提出了Soft Clamp，一种动态压缩极端标记级Jensen-Shannon散度的每标记散度校准方法，同时保留非零梯度。在APIGen-MT上，Soft Clamp将过度调用从13.7%降低到9.0%，同时保持决策准确性。在BFCL多轮诊断中，它还降低了工具调用循环和GKD变体中的重复调用。这些结果表明，多教师在线蒸馏应监控教师信号的作用位置，而不仅仅是聚合大小。

🔬 方法详解

问题定义：本论文旨在解决多教师在线蒸馏训练中，模型在工具调用与直接响应之间的过度调用问题。现有方法未能有效平衡这两者，导致模型性能下降。

核心思路：论文的核心思路是通过分析行为杠杆不平衡，识别局部标记级信号对全局生成模式的影响，并提出Soft Clamp方法来动态调整标记级散度，以优化模型的调用行为。

技术框架：整体架构包括两个主要教师模型，一个专注于工具调用，另一个专注于直接响应。学生模型通过生成的分布进行学习，同时引入Soft Clamp进行散度校准。

关键创新：最重要的技术创新点在于提出了行为杠杆不平衡的概念，并通过Soft Clamp方法实现了对极端标记级散度的动态压缩，从而有效降低了过度调用现象。

关键设计：在Soft Clamp中，设计了动态调整机制，以压缩极端的Jensen-Shannon散度，同时确保非零梯度的保留。此外，模型的损失函数和训练策略也进行了相应的调整，以支持这一新方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Soft Clamp方法将过度调用比例从13.7%降低至9.0%，同时保持了决策准确性。此外，在BFCL多轮诊断中，该方法有效降低了工具调用循环和重复调用现象，展示了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括智能助手、对话系统和自动化工具调用等场景。通过优化模型的调用行为，可以提高用户交互的自然性和效率，进而提升用户体验。未来，该方法可能对多模态学习和人机交互领域产生深远影响。

📄 摘要（原文）

Agentic language models must learn when to call tools, when to consume tool responses, and when to answer directly. This makes multi-teacher on-policy distillation a natural training strategy: one teacher can specialize in tool calls, another in direct responses, and the student can learn from both on its own generated distribution. We show that this strategy can induce a behavior shift that is invisible from aggregate losses alone. In a two-teacher tool-use setting, vanilla generalized knowledge distillation improves tool-call recall but also moves the model toward over-calling, where it calls tools on examples that should be answered directly. Aggregate explanations are insufficient: tool-call samples do not receive more token exposure, and full-sequence per-token divergence is not larger for the tool-call teacher. We instead analyze behavior leverage imbalance: local token-level signals at mode- entry and structural positions, such as and function names, can have disproportionate control over the global generation mode. We propose Soft Clamp, a per-token divergence calibration method that dynamically compresses extreme token-level Jensen-Shannon divergence while preserving nonzero gradients. On APIGen-MT, Soft Clamp reduces over-calling from 13.7% to 9.0% relative to vanilla GKD while matching its decision accuracy. In a BFCL multi-turn diagnostic, it also lowers tool-call loops and repeated calls among GKD variants. These results suggest that multi-teacher OPD should monitor where teacher signals act, not only how large they are in aggregate.