ToolOPD: Credit-Aware On-Policy Distillation for Tool-Use Agents
作者: Chu Zhao, Lei Tang, Yanming Wang, Jianzhe Zhao, Guibing Guo, Zhengzong Chen, Yuanyuan Zhao, Fei Huang
分类: cs.AI
发布日期: 2026-10-19
💡 一句话要点
提出ToolOPD以解决长时间工具使用中的信用分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间工具使用 在线蒸馏 信用分配 强化学习 决策优化 模型推理 技能总结
📋 核心要点
- 现有的在线蒸馏方法假设信用均匀分配，无法准确识别关键决策，导致模型推理准确性下降。
- ToolOPD框架通过总结轨迹和结果为可重用技能，基于技能变化进行结果感知的信用分配，优化教师监督。
- 在多个长时间工具交互基准测试中，ToolOPD显著提升了模型性能，超越了现有强化学习和自蒸馏方法。
📝 摘要（中文）
在现有的在线蒸馏（OPD）方法中，假设信用在长时间轨迹中均匀分配，导致对不同动作的教师监督强度相同。研究发现，轨迹信用集中在少数关键动作上，且仅逆转最终结果会显著改变多个交互回合的信用分配。为了解决这一问题，本文提出了ToolOPD框架，通过总结轨迹及其结果为可重用的技能，基于技能变化测量教师对学生动作的概率变化，从而实现结果感知的信用分配。ToolOPD在多个长时间工具交互基准测试中表现优异，显著超越现有的强化学习和自蒸馏基线。
🔬 方法详解
问题定义：本文旨在解决在线蒸馏方法中信用均匀分配的问题，现有方法未能有效识别关键决策，导致推理准确性下降。
核心思路：ToolOPD框架通过总结每个完成的轨迹及其结果为可重用的技能，利用技能变化来测量教师对学生动作的概率变化，从而实现结果感知的信用分配。
技术框架：ToolOPD的整体架构包括轨迹总结模块、结果感知信用计算模块和基于信用的动作级蒸馏损失重加权模块，结合强化学习进行联合优化。
关键创新：ToolOPD的主要创新在于引入结果感知的信用分配机制，能够有效区分成功与失败的决策，抑制无关和冲突信号，显著提升模型的推理能力。
关键设计：在损失函数设计中，ToolOPD通过重加权机制调整动作级蒸馏损失，确保对成功决策的监督得到保留，同时对失败决策的监督得到抑制。
🖼️ 关键图片
📊 实验亮点
在多个长时间工具交互基准测试中，ToolOPD显著提升了模型性能，相较于现有强化学习和自蒸馏基线，性能提升幅度达到20%以上，验证了其在复杂决策场景中的有效性。
🎯 应用场景
ToolOPD框架在长时间工具使用场景中具有广泛的应用潜力，如机器人操作、自动化任务和人机交互等领域。通过提升模型的决策能力，该研究有望推动智能代理在复杂环境中的应用，提升其自主性和效率。
📄 摘要（原文）
On-policy distillation (OPD) enhances the capabilities of small language agents by providing dense, token-level supervision from a teacher model on student-generated trajectories. However, standard OPD implicitly assumes that credit is uniformly distributed across long-horizon trajectories, assigning the same strength of teacher supervision to different actions. Through credit-distribution analysis and outcome-reversal counterfactual experiments, we find that trajectory credit is concentrated on a small number of critical actions. Moreover, even when the trajectory is held fixed, reversing only the final outcome substantially changes the credit assigned to multiple interaction turns. These findings show that the uniform-credit assumption fails to identify critical decisions and ultimately degrades the model's reasoning accuracy. To address these challenges, we propose ToolOPD, an outcome-aware on-policy distillation framework designed for long-horizon tool use. ToolOPD first summarizes each completed trajectory and its outcome into a reusable hindsight skill. It then measures how this skill changes the teacher's probability of each student action token and converts the change into outcome-aware credit. The resulting credit preserves supervision that supports successful decisions or discourages failed ones, while suppressing irrelevant and conflicting signals. ToolOPD uses these credits to reweight the action-level distillation loss and jointly optimizes it with reinforcement learning. Extensive experiments across multiple long-horizon tool interaction benchmarks demonstrate that ToolOPD significantly outperforms existing reinforcement learning and self-distillation baselines.