Latent-MOPD: Latent Multi-Teacher On-Policy Distillation

📄 arXiv: 2610.02381v1 📥 PDF

作者: Zhengyu Fang, Seoyeon Hong, Jie Yang, Muyang Li, Koyoshi Shindo, Brandon Joseph Lwowski, Jing Li

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出Latent-MOPD以解决多教师蒸馏训练的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长文本生成 在线蒸馏 多教师学习 表示学习 模型集成

📋 核心要点

  1. 现有的多教师在线蒸馏方法主要依赖于专家的输出分布，缺乏对隐藏状态的有效利用。
  2. Latent-MOPD通过结合专家的预测和隐藏状态，提出了一种新的表示级蒸馏方法，避免了额外的教师训练。
  3. 在多个基准测试中，Latent-MOPD在同类任务上超越了传统的基线方法，显示出显著的性能提升。

📝 摘要（中文）

在本研究中，我们提出了Latent-MOPD，这是首个针对大型语言模型（LLMs）的表示级多教师在线蒸馏方法。该方法通过整合多个专家的预测和用于计算这些预测的隐藏状态，来提升学生模型的性能，而无需额外的教师训练。通过选择适当的目标层、共享投影和按领域分组更新，Latent-MOPD有效协调了来自多个专家的表示监督。在多个基准测试中，Latent-MOPD在数学、代码和逻辑任务上均超越了现有的基线方法，展示了单一学生模型能够整合多个专家的能力。

🔬 方法详解

问题定义：本研究旨在解决现有多教师在线蒸馏方法在利用专家隐藏状态方面的不足，现有方法仅依赖于输出分布，限制了学生模型的学习能力。

核心思路：Latent-MOPD通过整合专家的预测和隐藏状态，提出了一种新的表示级蒸馏方法，能够在不增加教师训练的情况下提升学生模型的性能。

技术框架：该方法的整体架构包括选择适当的目标层、使用共享投影来桥接不同隐藏宽度，并按领域分组更新，以协调来自多个专家的监督。

关键创新：Latent-MOPD的核心创新在于同时利用专家的输出和内部表示，允许学生模型在多个领域中有效整合专家的能力，这与现有方法的单一输出依赖形成鲜明对比。

关键设计：在设计中，选择了晚层目标以适应教师与学生的关系，使用共享投影来处理不同的隐藏宽度，并确保更新过程中的领域纯度，以避免干扰。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，Latent-MOPD在九个基准测试中均超越了基于令牌和表示的单一方法，且在大多数情况下，学生模型的表现超过了每个基准的最佳教师。与大型、独立开发的跨领域教师相比，Latent-MOPD在所有基准测试中也表现出色，显示出其强大的通用性和有效性。

🎯 应用场景

Latent-MOPD的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、代码生成和逻辑推理等。通过有效整合多个专家的知识，该方法能够提升模型在复杂任务中的表现，未来可能推动更智能的对话系统和自动化编程工具的发展。

📄 摘要（原文）

On-policy distillation (OPD) trains a student on the responses it generates. Existing LLM multi-teacher OPD transfers what specialists predict through their output distributions. We introduce Latent-MOPD, to our knowledge the first representation-level multi-teacher OPD method for LLMs. It integrates existing specialists through both their predictions and the hidden states used to compute them, without additional teacher training. To coordinate representation supervision from multiple specialists, we select late-layer targets according to the teacher-student relationship, bridge unequal hidden widths with a shared projection, and group updates by domain. Each teacher's supervision gradually shifts from hidden states to token predictions, with both channels using the same routed specialist. In our main same-family setting, Latent-MOPD outperforms the token-only, representation-only and uniform-averaging baselines on all nine benchmarks across math, code and logic. With the same parameter count as each teacher, the student also surpasses the per-benchmark best teacher on a majority of these benchmarks. With larger, separately developed cross-family teachers, Latent-MOPD outperforms both single-channel baselines on all benchmarks. A same-family all-layer representation-only control remains stable with domain-pure updates but collapses when teacher domains are interleaved within an update. Our results show that a single student can integrate capabilities from several specialists through both their output distributions and internal representations.