Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
作者: Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang, Ruiqi Liu, Kun-Yang Yu, Ming Yang, Zhi Zhou, Yu-Feng Li, Yipeng Sun, Gu Simiu
分类: cs.AI
发布日期: 2026-10-09
备注: 30 pages, 9 figures, 10 tables, including references and appendices
💡 一句话要点
提出跨教师守护机制以解决多教师在线蒸馏中的梯度冲突问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多教师蒸馏 在线蒸馏 梯度冲突 跨领域学习 深度学习
📋 核心要点
- 现有的多教师在线蒸馏方法在教师间存在显著差异时，容易导致梯度冲突和能力退化。
- 本文提出跨教师守护机制，通过引入非路由教师作为辅助评论者，协调多教师的监督和梯度更新。
- 实验表明，Road MOPD在高冲突情况下提升了超过5个百分点的性能，并在低冲突和三领域设置中改善了整体表现。
📝 摘要（中文）
多教师在线蒸馏（MOPD）通过将特定领域的数据路由到专业教师，利用密集的标记级监督来整合其能力。然而，现有的领域路由方法在教师响应风格和领域专长差异较大时，可能导致持续的梯度冲突和能力退化。为了解决这一挑战，本文提出了跨教师守护机制（Road MOPD），引入非路由教师作为辅助跨领域评论者，通过标记级信用分配和梯度更新协调多教师监督。实验结果表明，Road MOPD在高冲突情况下减少了劣势领域的退化，提升了整体性能。
🔬 方法详解
问题定义：本文旨在解决多教师在线蒸馏中由于教师间响应风格和领域专长差异导致的梯度冲突问题。现有方法仅依赖领域路由，无法有效整合不同教师的监督信息，造成能力退化。
核心思路：提出跨教师守护机制（Road MOPD），通过引入非路由教师作为辅助评论者，利用教师间的共识来增强标记级的修正，并通过辅助梯度约束潜在的冲突更新。
技术框架：整体架构包括两个主要模块：跨教师指导的信用分配和预防性多教师梯度投影。前者通过教师一致性加强标记级修正，后者通过辅助梯度约束冲突更新。
关键创新：最重要的创新在于引入非路由教师作为辅助评论者，解决了传统方法中教师间监督冲突的问题，从而提高了学习效率和模型性能。
关键设计：在设计中，采用了动态控制投影强度的机制，以适应不同领域的学习信号，同时设置了特定的损失函数来优化教师间的协同作用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Road MOPD在高冲突情况下性能提升超过5个百分点，显著改善了劣势领域的表现，并在低冲突和三领域设置中整体性能得到了提升，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和机器人等多模态学习场景。通过优化多教师系统的协同工作，能够提高模型在复杂任务中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multi-teacher on-policy distillation (MOPD) extends on-policy distillation (OPD) by routing domain-specific data to specialized teachers, integrating their capabilities through dense token-level supervision on student-generated trajectories. However, domain routing only distinguishes the supervision sources for different domains; updates from all domains still act on shared parameters. When teachers differ substantially in response style and domain expertise, supervision that is effective in isolation may still lead to persistent gradient conflicts and capability degradation during joint optimization. To address this challenge, we propose Cross-Teacher Guarding for MOPD (Road MOPD), which introduces non-routed teachers as auxiliary cross-domain critics on the same student trajectories and coordinates multi-teacher supervision through token-level credit assignment and gradient updates. Specifically, cross-teacher-guided credit assignment uses teacher agreement to strengthen token-level corrections jointly supported by the teachers and attenuate conflicting signals; preventive multi-teacher gradient projection uses auxiliary gradients from the same trajectories to constrain potentially conflicting updates and adaptively controls projection strength to retain target-domain learning signals. In experiments, Road MOPD mitigates degradation in the disadvantaged domain, gains over 5 percentage points under high conflict, and improves overall performance in low-conflict and three-domain settings.