Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents

📄 arXiv: 2609.35319v1 📥 PDF

作者: Tong Zhang, Zhou Liu, Yihao Liu, Jiahua Bao, Xuchen Li, Honglin Lin, Tao Cheng, Zhihan Yu, Kai Tang, Xiaoxi Jiang, Guanjun Jiang

分类: cs.LG, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出结果导向的在线蒸馏方法以提升多回合自主代理的表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 自主代理 多回合交互 教师监督 结果导向 强化学习 任务成功率 动态加权

📋 核心要点

  1. 现有的在线蒸馏方法未能有效利用教师与学生之间的代币级差异，导致监督效果不佳。
  2. 本文提出OG-OPD，通过根据最终任务结果对教师指导进行加权，强调对学生有益的指导。
  3. 在ALFWorld、ScienceWorld和WebShop等环境中，OG-OPD相较于传统OPD提升了3.6-17.7个百分点的任务成功率。

📝 摘要（中文）

在线蒸馏（OPD）通过密集的教师监督训练学生代理，然而现有研究表明，教师与学生之间的代币级分布差异并不能完全反映监督的有效性。本文提出结果导向的在线蒸馏（OG-OPD），通过对教师监督进行轨迹相对加权，并根据最终任务结果进行校准，从而增强学生在特定回合的指导效果。实验结果显示，OG-OPD在多个环境中均优于基线方法，任务成功率提升显著。

🔬 方法详解

问题定义：本文旨在解决现有在线蒸馏方法中教师与学生之间的代币级差异未能有效反映监督效益的问题。现有方法可能导致学生在某些情况下无法获得有效的指导。

核心思路：OG-OPD的核心思想是通过对教师监督进行轨迹相对加权，并根据最终任务结果进行校准，从而增强学生在特定回合的指导效果。这样设计的目的是确保教师的指导能够直接转化为更好的任务结果。

技术框架：OG-OPD的整体架构包括教师监督的加权模块和结果校准模块。首先，基于学生的轨迹对教师的指导进行加权；然后，使用学生的最终任务结果来调整这些权重，以确保在关键回合提供有效的指导。

关键创新：OG-OPD的主要创新在于引入了结果导向的加权机制，使得教师的指导能够针对学生的实际表现进行优化。这一方法与传统的在线蒸馏方法相比，更加关注学生与环境的后续交互。

关键设计：在OG-OPD中，设计了特定的损失函数来平衡教师指导与学生自主选择之间的关系，同时采用了动态权重调整机制，以便在不同回合中灵活调整教师的影响力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OG-OPD在ALFWorld、ScienceWorld和WebShop等环境中均显著优于基线方法，任务成功率提升幅度在3.6-17.7个百分点之间，相较于最强基线提升达7.0个百分点，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能助手和游戏AI等多回合交互系统。通过提升自主代理的决策能力，能够在复杂环境中实现更高效的任务完成，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

On-policy distillation (OPD) trains a student on its own trajectories with dense teacher supervision. Recent work on OPD for multi-turn autonomous agents often treats large teacher-student token-level distributional gaps as promising intervention points, linking larger gaps to a greater need for correction. Yet, our empirical analysis reveals a supervision-benefit mismatch: large gaps can be benign, while small gaps can be outcome-critical. Teacher-student gaps capture differences at the current turn, whereas the benefit of teacher guidance depends on how the current student interacts with the environment afterward. The student may still succeed despite choosing an action that differs from the teacher's, while a teacher-preferred action may lead to a state from which the student cannot complete the task. Local gaps alone are therefore not enough to determine whether teacher guidance benefits the current student. Effective supervision should instead emphasize guidance that the current student can translate into better final task outcomes. Accordingly, we propose Outcome-Guided On-Policy Distillation (OG-OPD), which applies trajectory-relative weighting to teacher supervision and calibrates these weights using final task outcomes from paired student continuations. This calibration selectively strengthens supervision on the student's original trajectories at turns where teacher guidance benefits the current student. Across ALFWorld, ScienceWorld, and WebShop, OG-OPD consistently outperforms baselines under diverse settings. It improves task success rates by 3.6-17.7 percentage points over vanilla OPD and by up to 7.0 percentage points over the strongest baseline.