Scaling Multi-Teacher Distillation for Digital Pathology
作者: Sofiène Boutaj, Pierre Marza, Varun Belagali, Dimitris Samaras, Maria Vakalopoulou, Stergios Christodoulidis
分类: cs.CV
发布日期: 2026-10-08
备注: Accepted at NeurIPS 2026. Project page: https://sofiene-boutaj.github.io/omni-projectpage/
💡 一句话要点
提出多教师蒸馏方法以提升数字病理学模型的效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多教师蒸馏 数字病理学 知识转移 模型压缩 对比损失
📋 核心要点
- 现有的多教师蒸馏方法在教师数量增加时表现不佳，限制了其在数字病理学中的应用。
- 论文提出通过学习教师特定的表示来提升多教师蒸馏的效果，并引入多种设计选择以优化学习过程。
- 实验验证表明，所提方法在39个任务上表现优异，训练出的学生模型在效率和性能上均优于大型教师模型。
📝 摘要（中文）
多教师蒸馏（MTD）方法允许从多个“教师”网络向单个“学生”网络转移知识。尽管这一方法在数字病理学等领域展现出良好前景，但标准的多教师蒸馏方法在教师数量增加时表现不佳。本文提出通过学习教师特定的表示来解决这一问题，并引入可学习的教师标记、定制的注意力机制、混合专家层和对比损失等设计，以更好地学习教师特定的表示。实验结果表明，该方法在教师数量增加时表现更佳，能够训练出紧凑的学生编码器，效率比大型教师模型高出10倍，同时在多个任务上匹配甚至超越教师模型的性能。
🔬 方法详解
问题定义：本文旨在解决现有多教师蒸馏方法在教师数量增加时的性能下降问题。标准方法在教师数量增加时，学生模型的学习效果未能得到提升，导致效率低下。
核心思路：论文的核心思路是通过学习教师特定的表示来提高蒸馏效果。通过设计可学习的教师标记和定制的注意力机制，能够更好地捕捉不同教师模型的特征，从而提升学生模型的学习能力。
技术框架：整体架构包括多个模块：教师模型的选择与训练、学生模型的蒸馏过程、教师特定表示的学习机制以及最终的模型评估。每个模块相互配合，形成一个高效的知识转移流程。
关键创新：最重要的技术创新在于引入了可学习的教师标记和混合专家层，这些设计使得学生模型能够更有效地整合来自不同教师的知识，显著提升了蒸馏的效果。
关键设计：在损失函数方面，论文采用了对比损失来增强教师特定表示的学习。此外，网络结构中引入了混合专家层，以便在不同任务中动态选择最合适的教师知识进行蒸馏。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在39个任务上表现优异，训练出的学生模型在效率上比大型教师模型高出10倍，同时在多个任务上匹配甚至超越了教师模型的性能，展示了显著的提升幅度。
🎯 应用场景
该研究的潜在应用领域包括数字病理学、医学影像分析等，能够帮助医生更高效地进行疾病诊断和治疗决策。通过提升模型的学习效率和性能，未来可能推动相关领域的智能化进程，降低医疗成本，提高诊断准确性。
📄 摘要（原文）
Multi-teacher distillation allows transferring knowledge from multiple "teacher" networks to a single "student" network. This method is promising in fields such as digital pathology, where many powerful foundation models were proposed recently. However, as we show in this paper, the standard multi-teacher distillation approach reacts poorly to an increase in the number of teachers used to train a student encoder. We demonstrate that learning teacher-specific representations is a key to scaling in MTD. Importantly, different design choices, such as learnable teacher tokens, a tailored attention scheme, additional mixture-of-experts layers and a contrastive loss, are proposed to better learn such teacher-specific representations. We show that our method better scales with respect to the number of considered teachers, allowing us to train compact student encoders, up to 10x more efficient than larger teacher foundation models, while matching their performance and even outperforming them on a large set of tile-level and slide-level tasks. We conduct a thorough empirical validation, evaluating more than 10 foundation models on 39 tasks spanning tile and slide levels. As a result, we release a new collection of strong and efficient foundation models, named OMNI, trained from the knowledge of 10 state-of-the-art foundation models. We finally conduct an analysis of the learned teacher-specific representations, highlighting their complementarity and explaining why they can be easily aggregated at downstream time.