Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation

📄 arXiv: 2610.02324v1 📥 PDF

作者: Xiaofei Yin, Tong Chu, Jiyuan Fu, Jun Lan, Shuheng Zhou, Huijia Zhu

分类: cs.LG, cs.AI

发布日期: 2026-10-01

备注: 5 pages, 2 figures

💡 一句话要点

提出Slow-Fast多教师在线蒸馏以解决能力干扰问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 蒸馏训练 多模态融合 能力干扰 大语言模型

📋 核心要点

  1. 现有的多教师在线蒸馏方法在训练过程中导致学生模型逐渐偏离初始化，造成一般能力下降和能力干扰。
  2. 本文提出的Slow-Fast多教师在线蒸馏方法结合快速更新的学生模型与慢速移动平均模型，逐步吸收学习信号，保持能力平衡。
  3. 实验结果表明，SF-MOPD在多个模型规模上有效减轻能力干扰，提升专业多模态能力，并在一般能力基准上表现优异。

📝 摘要（中文）

基础多模态大语言模型旨在支持广泛的能力，涵盖多种领域。多教师在线蒸馏（MOPD）为将领域特定的专业知识整合到单一学生模型中提供了有效框架。然而，MOPD训练逐渐使学生模型偏离初始化模型，导致一般能力下降并产生能力干扰。为此，本文提出Slow-Fast多教师在线蒸馏（SF-MOPD），通过结合快速模型和慢速模型，逐步吸收学习信号，融合一般基础与确认的领域专业知识。实验表明，SF-MOPD有效缓解能力干扰，增强多模态能力，并在一般能力基准上减少平均降级，优于传统MOPD。

🔬 方法详解

问题定义：本文旨在解决多教师在线蒸馏（MOPD）训练中学生模型能力干扰的问题。现有方法在追求领域专业知识的同时，导致学生模型偏离其初始化状态，进而影响一般能力的保持。

核心思路：提出Slow-Fast多教师在线蒸馏（SF-MOPD），通过结合快速模型和慢速模型，前者直接由教师更新，后者为学生的指数移动平均，逐步吸收学习信号，从而保持一般能力与领域专业知识的平衡。

技术框架：SF-MOPD的整体架构包括两个主要模块：快速模型和慢速模型。快速模型负责实时更新，而慢速模型则作为能力参考，逐步融合学习信号。每个教师的更新在对数概率空间中计算，并仅去除推动快速模型远离慢速模型的成分。

关键创新：SF-MOPD的核心创新在于引入慢速模型作为能力参考，避免了传统方法中学生模型能力的过度干扰，确保了领域知识的有效吸收。

关键设计：在损失函数设计上，SF-MOPD保留与慢速模型对齐的成分，同时去除导致能力干扰的成分。模型结构上，快速模型和慢速模型的结合设计使得学习过程更加稳定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SF-MOPD在多个模型规模上显著减轻了能力干扰，相较于传统MOPD，专业多模态能力提升了X%，一般能力基准的平均降级降低了Y%。这些结果表明，SF-MOPD在保持一般能力的同时，成功增强了领域特定的能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态学习等。通过有效整合领域知识与一般能力，SF-MOPD可用于构建更为强大的多模态大语言模型，提升其在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Foundation multimodal large language models are designed to support a broad spectrum of capabilities across diverse domains. Multi-teacher on-policy distillation (MOPD) provides an effective framework for consolidating domain-specific expertise into a single student model. However, MOPD training gradually drives the student away from its initialization model, and general capabilities decline as the displacement grows, resulting in capability interference. A direct remedy is constraining the student toward its initialization, but this suppresses the acquisition of domain expertise as well. We propose Slow-Fast Multi-Teacher On-Policy Distillation (SF-MOPD), which couples a fast model, the current student updated directly by each teacher, with a slow model, an exponential moving average of the student. The slow model absorbs the learning signal gradually, serving as a moving capability reference that fuses the general foundation with confirmed domain expertise. For each teacher, SF-MOPD computes the teacher-induced update in log-probability space and removes only the component that pushes the fast model further away from the slow model, while retaining aligned and orthogonal components. Experiments across multiple model scales demonstrate that SF-MOPD effectively mitigates capability interference, enhances specialized multimodal capabilities, and reduces the average degradation on general-capability benchmarks, consistently outperforming vanilla MOPD.