Bridging the Gap in Missing Modalities: Leveraging Knowledge Distillation and Style Matching for Brain Tumor Segmentation

📄 arXiv: 2507.22626v1 📥 PDF

作者: Shenghao Zhu, Yifei Chen, Weihong Chen, Yuanhan Wang, Chang Liu, Shuo Jiang, Feiwei Qin, Changmiao Wang

分类: cs.CV

发布日期: 2025-07-30

备注: 11 pages, 2 figures

期刊: MICCAI 2025

🔗 代码/项目: GITHUB

💡 一句话要点

MST-KDNet：利用知识蒸馏和风格匹配解决缺失模态下的脑肿瘤分割难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 脑肿瘤分割 缺失模态 知识蒸馏 Transformer 风格匹配 医学图像分析 多尺度特征

📋 核心要点

  1. 现有脑肿瘤分割方法在缺失模态下，肿瘤边界分割不敏感，特征转移能力不足，影响分割精度。
  2. MST-KDNet通过多尺度Transformer知识蒸馏、双模式Logit蒸馏和全局风格匹配模块来解决上述问题。
  3. 在BraTS和FeTS 2024数据集上的实验表明，MST-KDNet在Dice和HD95评分上超越了现有方法，尤其是在模态缺失严重的情况下。

📝 摘要（中文）

在医学图像分析中，准确且可靠的脑肿瘤分割，尤其是在处理缺失模态的情况下，仍然是一个关键挑战。以往的研究未能完全解决肿瘤边界分割不敏感以及在缺乏关键成像模态时特征转移的问题。本研究提出了MST-KDNet，旨在解决这些关键问题。我们的模型采用多尺度Transformer知识蒸馏，以有效地捕获各种分辨率下的注意力权重；采用双模式Logit蒸馏，以改进知识的转移；以及一个全局风格匹配模块，该模块将特征匹配与对抗学习相结合。在BraTS和FeTS 2024数据集上进行的综合实验表明，MST-KDNet在Dice和HD95评分方面均超过了当前领先的方法，尤其是在模态损失严重的情况下。我们的方法显示出卓越的鲁棒性和泛化潜力，使其成为实际临床应用的有希望的候选者。我们的源代码可在https://github.com/Quanato607/MST-KDNet上找到。

🔬 方法详解

问题定义：该论文旨在解决脑肿瘤分割中，由于MRI模态缺失导致的分割精度下降问题。现有方法在处理缺失模态时，肿瘤边界分割的敏感性不足，且难以有效进行特征迁移，导致分割结果不理想。

核心思路：论文的核心思路是利用知识蒸馏和风格匹配技术，将完整模态下的知识迁移到缺失模态的情况下，从而提高分割精度。通过多尺度Transformer学习不同分辨率下的注意力权重，利用双模式Logit蒸馏提升知识迁移效果，并使用全局风格匹配模块来增强特征的鲁棒性。

技术框架：MST-KDNet的整体框架包含三个主要模块：多尺度Transformer知识蒸馏模块、双模式Logit蒸馏模块和全局风格匹配模块。首先，多尺度Transformer知识蒸馏模块用于学习不同分辨率下的注意力权重。然后，双模式Logit蒸馏模块用于将完整模态下的知识迁移到缺失模态。最后，全局风格匹配模块通过特征匹配和对抗学习来增强特征的鲁棒性。

关键创新：该论文的关键创新在于结合了多尺度Transformer知识蒸馏、双模式Logit蒸馏和全局风格匹配模块。多尺度Transformer知识蒸馏能够有效捕获不同分辨率下的注意力权重，双模式Logit蒸馏能够提升知识迁移效果，而全局风格匹配模块能够增强特征的鲁棒性。与现有方法相比，MST-KDNet能够更好地处理缺失模态下的脑肿瘤分割问题。

关键设计：在多尺度Transformer知识蒸馏模块中，使用了多个Transformer编码器来提取不同分辨率下的特征。在双模式Logit蒸馏模块中，使用了L1损失函数来约束教师模型和学生模型的输出。在全局风格匹配模块中，使用了对抗学习来增强特征的鲁棒性。具体的损失函数权重和网络结构参数需要在实验中进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MST-KDNet在BraTS和FeTS 2024数据集上进行了验证，实验结果表明，该方法在Dice和HD95评分上均优于当前领先的方法，尤其是在模态缺失严重的情况下。这表明MST-KDNet具有更强的鲁棒性和泛化能力，能够有效解决缺失模态下的脑肿瘤分割问题。

🎯 应用场景

该研究成果可应用于临床脑肿瘤诊断和治疗计划制定。在实际临床环境中，由于各种原因，MRI图像可能存在模态缺失。MST-KDNet能够有效解决这一问题，提高脑肿瘤分割的准确性和可靠性，从而辅助医生进行更精确的诊断和治疗决策，具有重要的临床应用价值和潜力。

📄 摘要（原文）

Accurate and reliable brain tumor segmentation, particularly when dealing with missing modalities, remains a critical challenge in medical image analysis. Previous studies have not fully resolved the challenges of tumor boundary segmentation insensitivity and feature transfer in the absence of key imaging modalities. In this study, we introduce MST-KDNet, aimed at addressing these critical issues. Our model features Multi-Scale Transformer Knowledge Distillation to effectively capture attention weights at various resolutions, Dual-Mode Logit Distillation to improve the transfer of knowledge, and a Global Style Matching Module that integrates feature matching with adversarial learning. Comprehensive experiments conducted on the BraTS and FeTS 2024 datasets demonstrate that MST-KDNet surpasses current leading methods in both Dice and HD95 scores, particularly in conditions with substantial modality loss. Our approach shows exceptional robustness and generalization potential, making it a promising candidate for real-world clinical applications. Our source code is available at https://github.com/Quanato607/MST-KDNet.