TISD: On-Policy Self-Distillation with Trajectory Intervention

📄 arXiv: 2609.30878v1 📥 PDF

作者: Taeckyung Lee, Rinat Amankos, Jeonghye Kim, Hyungjun Yoon, Woogyeol Jin, Sung-Ju Lee

分类: cs.AI, cs.LG

发布日期: 2026-09-25

💡 一句话要点

提出TISD以解决现有自蒸馏方法的训练瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 轨迹干预 生成模型 教师引导 深度学习

📋 核心要点

  1. 现有的在线自蒸馏方法在训练过程中面临数据收集瓶颈，无法有效利用教师的偏好信息。
  2. 论文提出的轨迹干预自蒸馏（TISD）方法通过强制教师选择的分支动作，改善了学生的后续生成能力。
  3. 实验结果表明，TISD在多个任务上均显著提升了性能，验证了教师引导分支的有效性。

📝 摘要（中文）

论文提出了一种新的自蒸馏方法——轨迹干预自蒸馏（TISD），旨在解决现有的在线自蒸馏（OPSD）方法在训练过程中数据收集的瓶颈。现有方法仅在学生采样的轨迹上评估教师目标，导致在教师偏好替代动作时无法有效监督后续上下文。通过引入教师选择的分支动作，TISD能够改善学生的后续生成，并在多个编码模型和科学领域中显著提升了性能。实验结果显示，TISD在Avg@4和Avg@128指标上分别提高了1.2和0.8个百分点，验证了教师引导分支的有效性。

🔬 方法详解

问题定义：论文要解决的问题是现有在线自蒸馏（OPSD）方法在训练过程中无法有效利用教师的偏好信息，导致数据收集瓶颈。教师在某些情况下偏好替代动作，但OPSD无法监督后续上下文，限制了模型的学习能力。

核心思路：论文的核心解决思路是引入轨迹干预自蒸馏（TISD）算法，强制教师选择的分支动作，并将后续生成任务交给学生，从而改善学生的生成能力和上下文利用。

技术框架：TISD的整体架构包括三个主要模块：教师选择的分支动作生成、学生的后续生成任务以及全轨迹的蒸馏过程。教师在生成过程中引导学生选择合适的分支，从而提高生成质量。

关键创新：TISD的关键创新在于将教师的偏好信息用于生成分支动作，而不仅仅是局部修正。这一设计使得模型能够更好地利用教师的知识，改善后续上下文的生成。

关键设计：在TISD中，关键参数包括教师选择的分支动作的选择策略，以及损失函数的设计，确保学生在生成后续内容时能够有效利用教师提供的上下文信息。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TISD在多个编码模型中平均提升了Avg@4指标1.2个百分点，在科学领域中Avg@128指标提升了0.8个百分点。这些结果表明，教师引导的分支选择能够有效改善学生的生成能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动文本生成等。通过改善自蒸馏过程，TISD可以在多种生成任务中提升模型性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

On-policy self-distillation (OPSD) provides dense teacher targets, but evaluates them only along student-sampled rollouts. When the privileged teacher favors an alternative action at a visited prefix, OPSD can provide a target for the branch decision but cannot supervise the successor contexts induced by that action unless the student samples it. This creates a training-time data-collection bottleneck and suggests a different role for teacher-student disagreement: proposing a trajectory branch rather than identifying a sufficient local repair. Our diagnostic framework using controlled token interventions reveals that a teacher-preferred token at peak disagreement can improve student continuation success, while its local corrective value is limited. Motivated by this finding, we introduce a simple branch-regenerate-distill algorithm, Trajectory-Intervention Self-Distillation (TISD). TISD forces a teacher-selected branch action, returns suffix generation to the student, and distills the full trajectory under the privileged-context-conditioned teacher. Across the coding models, TISD improves average Avg@4 over SDPO by 1.2 percentage points. Across the science domains, it improves average Avg@128 by 0.8 points under an equal-step budget and by 0.3 points under an equal-time budget. These results support teacher-guided branching as a way to expose useful successor contexts for self-distillation.