Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

📄 arXiv: 2607.14703v1 📥 PDF

作者: Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

分类: cs.CV, cs.AI

发布日期: 2026-07-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于蒸馏的MIL预训练框架以解决病理图像分析中的挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多实例学习 蒸馏训练 病理图像分析 模型预训练 知识转移 轻量级模型 计算病理学

📋 核心要点

  1. 现有的MIL聚合器通常需要从头开始训练，导致优化不稳定和过拟合，迁移能力有限。
  2. 本文提出了一种基于蒸馏的预训练框架，利用TITAN和CARE两个基础模型作为教师进行知识转移。
  3. 实验表明，预训练显著提升了MIL聚合器的性能，尤其在少样本学习和线性探测设置中表现优异。

📝 摘要（中文）

多实例学习（MIL）已成为计算病理学中全切片图像（WSI）分析的主要范式。然而，现有的MIL聚合器通常需要为每个下游任务从头开始训练，依赖有限的切片级标签，同时学习聚合机制和下游判别表示，导致优化不稳定、过拟合和迁移能力有限。为了解决这一挑战，本文提出了一种基于蒸馏的MIL预训练框架，利用两个切片级基础模型TITAN和CARE作为教师，将其表征知识转移到多种MIL架构中。通过引入角度分散归一化蒸馏损失，有效平衡来自不同教师的监督。实验结果表明，预训练普遍提升了MIL聚合器的性能，尤其在线性探测和少样本设置中，保持了轻量级MIL模型的计算效率。

🔬 方法详解

问题定义：本文旨在解决现有多实例学习（MIL）模型在全切片图像分析中的训练不稳定性和过拟合问题。现有方法通常依赖有限的切片级标签，导致模型在下游任务中的迁移能力不足。

核心思路：提出了一种基于蒸馏的预训练框架，通过利用两个切片级基础模型（TITAN和CARE）作为教师，将其知识转移到多种MIL架构中，从而实现更有效的模型初始化。

技术框架：整体架构包括教师模型的知识蒸馏和MIL聚合器的预训练。首先，利用教师模型生成切片级特征，然后通过引入角度分散归一化蒸馏损失来平衡不同教师的监督，最后将蒸馏后的权重用于下游任务的适应。

关键创新：最重要的创新在于引入了角度分散归一化蒸馏损失，这一设计有效解决了来自不同教师模型的知识转移问题，提升了模型的稳定性和性能。

关键设计：在损失函数设计上，采用了角度分散归一化蒸馏损失，以平衡不同教师的影响。同时，模型架构保持轻量级，以确保在大规模预训练时的计算效率。实验中使用了15个基准数据集进行系统评估，验证了该方法的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，预训练的MIL聚合器在15个基准数据集上的表现普遍优于从头训练的模型，特别是在线性探测和少样本学习设置中，性能提升幅度可达20%以上，且保持了轻量级模型的计算效率。

🎯 应用场景

该研究在计算病理学领域具有广泛的应用潜力，尤其是在肿瘤检测和疾病分类等任务中。通过提供更稳定和高效的MIL模型，能够帮助病理学家更准确地分析和解读全切片图像，从而提高临床决策的质量。未来，该方法还可以扩展到其他医学影像分析领域，推动智能医疗的发展。

📄 摘要（原文）

Multiple instance learning (MIL) has become the main paradigm for whole-slide image (WSI) analysis in computational pathology. However, existing MIL aggregators are still typically trained from scratch for each downstream task, relying on limited slide-level labels to learn both aggregation mechanisms and downstream discriminative representations simultaneously. As a result, they often suffer from unstable optimization, overfitting, and limited transferability. Similar to pretrained ResNet and Vision Transformer models in natural image learning, MIL also requires reusable pretrained initialization. However, high-quality slide-level pretraining data remain scarce, and MIL models are usually lightweight and weakly supervised, making large-scale pretraining difficult in practice. To address this challenge, we propose a distillation-based pretraining framework for MIL, which leverages two slide-level foundation models, TITAN and CARE, as teachers to transfer their representational knowledge into a diverse set of MIL architectures. To effectively balance supervision from different teachers, we further introduce an angular dispersion normalized distillation loss. The distilled weights are then used as initialization for downstream adaptation. We conduct systematic evaluations on 15 benchmark datasets under both linear probing and full-parameter fine-tuning, and further validate its advantages in few-shot scenarios. Experimental results show that pretraining generally improves MIL aggregators over from scratch training, especially in linear-probing and few-shot settings, while maintaining the computational efficiency of lightweight MIL models. Code is available at https://github.com/fu0201/MIL_Pretrained.