WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging

📄 arXiv: 2510.14668v2 📥 PDF

作者: Md. Abdur Rahman, Mohaimenul Azam Khan Raiaan, Sami Azam, Asif Karim, Jemima Beissbarth, Amanda Leach

分类: cs.CV

发布日期: 2025-10-16 (更新: 2025-11-04)

💡 一句话要点

提出WeCKD：一种弱监督链式蒸馏网络，用于高效多模态医学影像分析。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 弱监督学习 链式网络 医学影像分析 多模态学习

📋 核心要点

  1. 传统知识蒸馏依赖强教师模型和大量标注数据，存在知识退化和监督效率低下的问题。
  2. WeCKD构建链式蒸馏结构，每个模型从前任学习并提炼知识，实现渐进式知识转移。
  3. 实验表明，WeCKD在多个医学影像数据集上优于现有方法，精度提升高达+23%。

📝 摘要（中文）

知识蒸馏(KD)传统上依赖于静态的师生框架，其中一个大型、训练有素的教师模型将知识传递给单个学生模型。然而，这些方法通常存在知识退化、监督效率低下以及依赖于非常强大的教师模型或大型标记数据集的问题。为了解决这些问题，我们提出了首个弱监督链式KD网络(WeCKD)，它通过互连模型的结构化序列重新定义了知识转移。与传统的KD不同，它形成了一个渐进的蒸馏链，其中每个模型不仅从其前任学习，而且在传递知识之前对其进行提炼。这种结构化的知识转移进一步增强了特征学习，并解决了单步KD的局限性。链中的每个模型仅在数据集的一小部分上进行训练，表明可以通过最小的监督实现有效的学习。在耳镜、显微镜和磁共振成像等六个成像数据集上的广泛评估表明，它具有良好的泛化能力，并且优于现有方法。此外，所提出的蒸馏链比在相同有限数据上训练的单个骨干网络实现了高达+23%的累积精度提升，突出了其在实际应用中的潜力。

🔬 方法详解

问题定义：论文旨在解决传统知识蒸馏方法在医学影像分析中存在的知识退化、监督效率低下以及对强教师模型或大量标注数据依赖的问题。现有方法难以在有限标注数据下训练出高效且准确的模型，限制了其在实际医学应用中的推广。

核心思路：论文的核心思路是构建一个链式的知识蒸馏框架，其中每个模型不仅从前一个模型学习，而且在传递知识之前对知识进行提炼。通过这种渐进式的知识转移，可以有效地利用有限的标注数据，并避免知识退化的问题。链式结构允许模型逐步学习更复杂的特征，从而提高整体性能。

技术框架：WeCKD由一系列互连的模型组成，形成一个蒸馏链。第一个模型使用部分标注数据进行训练，然后将其知识传递给下一个模型。后续的模型在前一个模型的指导下，使用剩余的标注数据进行训练，并进一步提炼知识。整个过程形成一个循环，直到所有模型都得到充分训练。最终的模型可以独立使用，也可以作为集成模型的一部分。

关键创新：WeCKD的关键创新在于其链式蒸馏结构，它允许模型逐步学习和提炼知识，从而避免了传统知识蒸馏方法中的知识退化问题。此外，WeCKD采用弱监督学习策略，每个模型仅使用部分标注数据进行训练，从而降低了对标注数据的需求。这种方法特别适用于医学影像分析领域，因为标注医学影像数据通常非常昂贵和耗时。

关键设计：WeCKD中的每个模型都可以是任何类型的神经网络，例如卷积神经网络(CNN)或Transformer。论文中使用了ResNet作为基础模型。损失函数包括两部分：一部分是分类损失，用于衡量模型的预测结果与真实标签之间的差异；另一部分是蒸馏损失，用于衡量模型与前一个模型之间的知识差异。蒸馏损失可以使用多种方法计算，例如KL散度或L2损失。链的长度和每个模型使用的数据比例是重要的超参数，需要根据具体任务进行调整。

📊 实验亮点

实验结果表明，WeCKD在六个医学影像数据集上均优于现有的知识蒸馏方法。与在相同有限数据上训练的单个骨干网络相比，WeCKD实现了高达+23%的累积精度提升。这些结果表明，WeCKD是一种高效且有效的医学影像分析方法。

🎯 应用场景

WeCKD在医学影像分析领域具有广泛的应用前景，例如疾病诊断、病灶检测和图像分割。它可以用于处理各种医学影像模态，包括耳镜、显微镜和磁共振成像。该方法尤其适用于标注数据有限的场景，可以帮助医生更准确、更高效地进行疾病诊断和治疗。

📄 摘要（原文）

Knowledge distillation (KD) has traditionally relied on a static teacher-student framework, where a large, well-trained teacher transfers knowledge to a single student model. However, these approaches often suffer from knowledge degradation, inefficient supervision, and reliance on either a very strong teacher model or large labeled datasets. To address these, we present the first-ever Weakly-supervised Chain-based KD network (WeCKD) that redefines knowledge transfer through a structured sequence of interconnected models. Unlike conventional KD, it forms a progressive distillation chain, where each model not only learns from its predecessor but also refines the knowledge before passing it forward. This structured knowledge transfer further enhances feature learning and addresses the limitations of one-step KD. Each model in the chain is trained on only a fraction of the dataset and shows that effective learning can be achieved with minimal supervision. Extensive evaluation on six imaging datasets across otoscopic, microscopic, and magnetic resonance imaging modalities shows that it generalizes and outperforms existing methods. Furthermore, the proposed distillation chain resulted in cumulative accuracy gains of up to +23% over a single backbone trained on the same limited data, which highlights its potential for real-world adoption.