Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers
作者: Yihao Ai, Weilong Yan
分类: cs.LG, cs.AI
发布日期: 2026-09-16
备注: 14 pages, 3 figures
💡 一句话要点
提出基于成功教师的轨迹学习信号以优化离线蒸馏
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线蒸馏 教师监督 轨迹学习 学习信号 数学推理 代码生成 效率优化
📋 核心要点
- 现有的离线策略蒸馏方法在面对不完美教师监督时，难以有效利用学生轨迹，导致学习效率低下。
- 本文提出通过教师成功问题定义学习信号，利用成功轨迹评估失败轨迹中的学习潜力，避免了重复生成的效率损失。
- 实验结果显示，该方法在数学推理和代码生成任务中，较基线提升了最多2.7个百分点，且在资源使用上更为高效。
📝 摘要（中文）
离线策略蒸馏通过一次性收集学生轨迹和教师监督来提高效率，但不完美的监督会导致学习效果不佳。本文探讨了在教师监督不完美的情况下，学生仍能学习到什么。我们提出了一种方法，通过教师成功问题定义参考，利用成功教师的轨迹来评估教师失败问题中的学习信号。通过这种方式，我们能够在不增加生成成本的情况下，计算出轨迹级别的学习信号，从而优化原有的蒸馏损失。实验表明，该方法在数学推理和代码生成任务中，较基线提升了最多2.7个百分点，并在多个基准上与在线蒸馏方法相当或更优。
🔬 方法详解
问题定义：本文旨在解决在不完美教师监督下，学生如何有效学习的问题。现有方法在教师失败时，无法充分利用学生轨迹，导致学习效果不佳。
核心思路：我们提出通过教师成功问题定义一个参考信号，利用成功教师的轨迹来评估教师失败问题中的学习信号。这种方法避免了重复生成的效率损失，能够在不增加额外计算的情况下，优化学习过程。
技术框架：整体流程包括收集学生和教师的轨迹，定义成功教师问题，计算学习信号，并将其聚合为轨迹级别的权重，最终优化蒸馏损失。
关键创新：最重要的创新在于提出了一种基于成功教师的学习信号计算方法，与传统的基于继续生成的估计方法相比，显著提高了学习效率。
关键设计：在损失函数设计上，我们使用了基于成功轨迹的加权机制，确保了学习信号的有效性。此外，整个过程只需使用2个GPU和约22小时的计算资源，显著低于在线蒸馏方法的资源消耗。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在数学推理和代码生成任务中，较离线基线提升了最多2.7个百分点，并在多个基准上与在线蒸馏方法相当或更优。此外，该方法在资源使用上显著更为高效，仅需2个GPU和约22小时的计算时间。
🎯 应用场景
该研究的潜在应用领域包括教育技术、自动化代码生成和智能助手等。通过优化教师监督的利用效率，可以在多种任务中提升模型的学习能力和性能，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Offline on-policy distillation gains efficiency by collecting student trajectories and teacher supervision once and reusing them throughout optimization. The same reuse makes imperfect supervision persistent. Since even strong teachers can fail, we ask \emph{what remains learnable from imperfect teacher supervision?} Teacher failure is only a coarse problem-level signal and does not imply that all supervision along the associated student trajectory is unhelpful. A natural alternative is to estimate teacher recoverability along the trajectory, but repeated continuations largely erase the efficiency advantage of offline distillation. We instead use teacher-successful problems to define a cheap reference for what the student can learn. We train on teacher-successful problems and measure how the likelihood of each observed token in trajectories from teacher-failed problems changes. We use these signed likelihood changes as an operational \emph{learnability signal}: larger increases indicate behavior more strongly promoted by successful-only learning. We aggregate this signal into trajectory-level weights for the original distillation loss. Unlike continuation-based estimates, our learnability requires no additional generation and can be computed once from stored trajectories and model checkpoints. Across mathematical reasoning and code generation, our method improves an offline OPD baseline by up to 2.7 percentage points and matches or outperforms online OPD variants on multiple benchmarks. Despite the additional successful-only distillation stage, it uses 2 GPUs and about 22 GPU hours, compared with 3 GPUs and 36--48 GPU hours for representative online OPD methods.