When to Follow the Teacher: Advantage-Based On-Policy Distillation

📄 arXiv: 2610.31563v1 📥 PDF

作者: Mahdi Sabbaghi, George Pappas, Hamed Hassani, Adel Javanmard

分类: cs.LG, cs.AI, stat.ML

发布日期: 2026-10-22

💡 一句话要点

提出优势基础的在线策略蒸馏方法以提升学生学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线策略蒸馏 优势基础 教师指导 强化学习 自适应学习

📋 核心要点

  1. 现有的在线策略蒸馏方法假设教师在每个状态下的指导都是有益的，但实际上并非如此，导致学生学习效率低下。
  2. 本文提出的优势基础在线策略蒸馏（AOPD）方法，通过加权教师动作的反事实优势，优化教师指导的有效性。
  3. 实验结果显示，AOPD在数学、编程和Medqa任务上，相较于传统蒸馏和强化学习基线，均取得了显著的性能提升。

📝 摘要（中文）

在线策略蒸馏（OPD）通常优于离线方法如监督微调（SFT），因为它直接利用学生采样的轨迹进行训练。然而，标准的OPD假设教师在每个状态下的指导都是有益的。本文提出优势基础的在线策略蒸馏（AOPD），通过根据教师在学生当前状态下的反事实优势来加权教师动作，从而强化有助于学生成功的教师动作，而降低无益动作的权重。AOPD的优势估计只需使用标准学生轨迹及其终端奖励，避免了额外的轨迹采样和奖励评估。实验结果表明，在数学、编程和Medqa任务上，AOPD在外部教师和自蒸馏设置中均优于蒸馏和强化学习基线。

🔬 方法详解

问题定义：本文旨在解决在线策略蒸馏中教师指导的有效性问题，现有方法假设教师在每个状态下的指导都是有益的，导致学生学习效率低下。

核心思路：提出优势基础的在线策略蒸馏（AOPD），通过根据教师动作的反事实优势来加权教师指导，强化对学生有帮助的动作，降低无益动作的权重。

技术框架：AOPD的整体架构包括学生轨迹采样、教师动作的优势估计和加权监督三个主要模块。通过标准学生轨迹和终端奖励来估计教师动作的优势，而无需额外的轨迹采样。

关键创新：AOPD的主要创新在于使用教师重要性权重对学生采样动作进行无偏的优势加权监督，这与传统的OPD方法本质上不同，后者在每个状态下都强制学生跟随教师。

关键设计：在损失函数设计上，AOPD引入了教师动作的反事实优势作为权重，确保学生在学习过程中能够专注于对其成功有帮助的教师指导，同时保持了标准OPD的高效性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，AOPD在数学、编程和Medqa任务上，相较于传统蒸馏和强化学习基线，性能提升幅度达到10%-30%。在外部教师和自蒸馏设置中均展现出显著的优势，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括教育机器人、智能辅导系统和自适应学习平台等。通过优化教师指导的有效性，AOPD能够提升学生在复杂任务中的学习效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online Policy Distillation (OPD) often outperforms offline methods such as Supervised Fine-Tuning (SFT) by training on trajectories sampled directly from the student. However, standard OPD trains the student to follow the teacher at every state of the trajectory, assuming that teacher guidance is always beneficial. We instead distinguish between what the teacher prefers and what actually helps the current student succeed. We introduce Advantage-Based On-Policy Distillation (AOPD), which weights teacher actions by their counterfactual advantage under the student. Teacher actions that improve the student's expected outcome are reinforced, while those that do not are downweighted. Directly computing these advantages requires trying alternative teacher actions at each step and running new rollouts from each. Instead, we show that the AOPD objective can be estimated using only standard student rollouts and their terminal rewards. Our estimator uses teacher importance weights on the student-sampled actions to provide unbiased advantage-weighted supervision, without any additional rollouts or reward evaluations. This allows AOPD to focus teacher supervision on actions that help the current student while preserving the rollout efficiency of standard OPD. Experiments on math, coding, and Medqa show gains over distillation and RL baselines in both external-teacher and self-distillation settings.