Bridged Self-Distillation for On-Policy Learning
作者: Runsheng Chen, Yihong Liu, Raoyuan Zhao, Michael A. Hedderich, Hinrich Schütze, Matthias Grabmair
分类: cs.CL
发布日期: 2026-10-19
备注: 21 pages, 10 figures, 15 tables. Code: https://github.com/TUMLegalTech/Bridged-Self-Distillation
🔗 代码/项目: GITHUB
💡 一句话要点
提出桥接自蒸馏方法以解决在线学习中的教师模型不匹配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线学习 知识蒸馏 自蒸馏 推理能力 模型优化 自然语言处理
📋 核心要点
- 现有的在线蒸馏方法在从强教师模型转移知识时面临解决方案模仿困难和令牌概率不兼容的问题。
- 论文提出的桥接自蒸馏方法通过引入外部教师和自教师的协同工作，解决了教师与学生之间的知识转移不匹配问题。
- 实验结果表明，BSD在多种教师场景下均优于基线模型，展示了其在蒸馏任务中的有效性和通用性。
📝 摘要（中文）
在线蒸馏可以将强教师模型的推理能力转移到较小的学生模型上。然而，从更强的教师模型蒸馏时会面临两个不匹配问题：其解决方案可能难以被较小的学生模仿，且其令牌级概率可能与学生不兼容或不可用。为此，本文提出了桥接自蒸馏（BSD），这是一个统一的框架，用于从提供推理轨迹的任何教师模型中进行蒸馏。外部教师首先提供作为特权上下文的推理轨迹，学生在没有该上下文的情况下生成回滚，而条件化于该上下文的学生副本作为自教师，在学生自己的令牌空间中对相同的回滚进行评分。BSD利用生成的令牌级指导来调整不成功回滚的更新，并通过验证器提供结果信号。该方法在不同教师场景下均表现出色，超越了基线模型，提供了一条新颖且统一的蒸馏路径。
🔬 方法详解
问题定义：论文要解决的是在在线学习中，从强教师模型向较小学生模型转移知识时的两个不匹配问题：一是教师模型的解决方案难以被学生模仿，二是教师模型的令牌级概率可能与学生模型不兼容或不可用。
核心思路：论文的核心解决思路是提出桥接自蒸馏（BSD）框架，通过外部教师提供推理轨迹作为特权上下文，并利用自教师对学生生成的回滚进行评分，从而实现有效的知识转移。
技术框架：整体架构包括外部教师生成推理轨迹、学生在没有该上下文的情况下生成回滚、自教师对回滚进行评分以及验证器提供结果信号。该框架适用于共享令牌、交叉令牌和封闭API教师等多种场景。
关键创新：最重要的技术创新点在于引入了自教师的概念，使得学生能够在自己的令牌空间中进行有效的知识学习和调整，从而克服了传统蒸馏方法的局限性。
关键设计：关键设计包括如何生成推理轨迹、如何设置损失函数以优化不成功回滚的更新，以及自教师与学生之间的条件化关系，这些设计确保了知识转移的有效性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，桥接自蒸馏方法在多种教师场景下均显著提高了模型性能，相比基线模型提升幅度达到XX%，展示了其在知识蒸馏任务中的优越性和广泛适用性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够有效提升模型的推理能力和学习效率。未来，桥接自蒸馏方法可能在多模态学习和复杂任务的知识转移中发挥重要作用，推动智能系统的进一步发展。
📄 摘要（原文）
On-policy distillation can transfer the reasoning capabilities of a strong teacher to a smaller student. However, distillation from a stronger teacher model faces two mismatches: its solutions may be difficult for a smaller student to imitate, and its token-level probabilities may be incompatible with, or even unavailable to, the student. Existing methods handle these settings through different forms of supervision. To this end, we propose Bridged Self-Distillation (BSD), a unified framework for distilling from any teacher that provides reasoning traces. The model to be distilled from, termed the external teacher, first provides a reasoning trace as privileged context, which can be generated in an offline fashion. The student generates rollouts without this context, while a copy of the student conditioned on it, serving as the self-teacher, scores the same rollouts in the student's own token space. BSD uses the resulting token-level guidance to adjust updates on unsuccessful rollouts, with a verifier providing the outcome signal. As the external teacher is queried only to produce text, the same training procedure applies to all teacher scenarios: shared-tokenizer, cross-tokenizer, and closed API teachers. Across these scenarios, BSD improves over the base model and outperforms baselines tailored to each scenario, offering a novel and unified pathway for distillation. Code is available: https://github.com/TUMLegalTech/Bridged-Self-Distillation