Graph-Conditioned On-Policy Agent Distillation from Off-the-Shelf Teachers

📄 arXiv: 2609.37522v1 📥 PDF

作者: Xiaohan Yi, Wen Luo, Yani Huang, Junfeng Zhan, Asher Qin, Peilin Zhao, Xi Xiao

分类: cs.LG

发布日期: 2026-09-29

备注: 18 pages, 3 figures

💡 一句话要点

提出图条件的在线策略代理蒸馏以解决教师反馈不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线策略蒸馏 图结构 教师反馈 多轮任务 代理学习

📋 核心要点

  1. 现有的在线策略蒸馏方法在多轮任务中面临累积错误的问题，导致学生代理超出教师的有效监督。
  2. GC-OPD通过引入图结构来索引教师执行的重复状态，结合执行证据来改善学生的评分过程。
  3. 实验结果显示，GC-OPD在多个任务上显著提高了成功率，尤其在ScienceWorld和ALFWorld上表现优异。

📝 摘要（中文）

在线策略蒸馏（OPD）通过教师反馈训练紧凑的语言代理，但在多轮任务中，累积的错误可能使学生超出教师的有效监督范围。本文提出图条件的在线策略代理蒸馏（GC-OPD），通过执行证据丰富现成教师的评分上下文。GC-OPD在每个学生回合后检索当前状态参考或历史替代，并结合学生的回顾来评分原始的思考-行动令牌。使用相同的教师，GC-OPD在ScienceWorld、ALFWorld Unseen和WebShop上显著提高了成功率。

🔬 方法详解

问题定义：本文旨在解决在线策略蒸馏（OPD）在多轮任务中因累积错误导致的学生代理超出教师有效监督的问题。现有方法未能有效利用教师的执行历史，导致学生表现不佳。

核心思路：GC-OPD的核心思路是通过图结构将教师的执行历史与学生的当前状态结合，利用历史成功和失败的案例来指导学生的决策，从而提高评分的准确性。

技术框架：GC-OPD的整体架构包括教师执行历史的图索引、状态参考的检索模块和评分结合模块。首先，构建图结构以索引教师的执行状态；然后，在每个学生回合后检索相关状态并结合学生的回顾进行评分。

关键创新：GC-OPD的主要创新在于引入图结构来丰富教师的评分上下文，这一设计使得学生能够在更全面的历史信息指导下进行决策，显著提升了学习效果。

关键设计：在实现过程中，GC-OPD不需要针对特定任务的教师优化，且通过历史状态的检索与结合，提升了评分的准确性和学生的成功率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，GC-OPD在ScienceWorld上将成功率从24.70%提升至48.78%，在ALFWorld Unseen上从53.36%提升至85.26%，在WebShop上从29.10%提升至37.65%。在相同学生规模下，GC-OPD的表现优于所有评估的OPD基线，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用场景包括智能对话系统、自动化决策支持和机器人控制等领域。通过提升学生代理的学习效率和决策质量，GC-OPD可在复杂任务中实现更高的成功率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) trains compact language agents with teacher feedback on student-generated trajectories. In multi-turn tasks, compounding errors can move students beyond the teacher's effective supervision. We introduce Graph-Conditioned On-Policy Agent Distillation (GC-OPD), which enriches an off-the-shelf teacher's scoring context with execution evidence. A graph indexes repeated teacher executions by shared states while preserving complete successful and failed histories. After each student episode, GC-OPD retrieves current-state references or historical alternatives and combines them with student hindsight to score the original thought-action tokens. Using the same original teachers, GC-OPD improves mean success over vanilla OPD from 24.70% to 48.78% on ScienceWorld (4B student), from 53.36% to 85.26% on ALFWorld Unseen, and from 29.10% to 37.65% on WebShop. At matched student sizes, it also achieves higher mean success than every evaluated OPD baseline using GRPO-trained teachers on ScienceWorld and ALFWorld; the strongest such ScienceWorld 4B baseline reaches 46.66%. GC-OPD requires no task-specific teacher optimization.