A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts
作者: Xinru Zhang, Ni Ou, Berke Doga Basaran, Marco Visentin, Mengyun Qiao, Renyang Gu, Cheng Ouyang, Yaou Liu, Paul M. Matthew, Chuyang Ye, Wenjia Bai
分类: eess.IV, cs.CV
发布日期: 2024-05-16 (更新: 2024-07-16)
备注: The work has been early accepted by MICCAI 2024
💡 一句话要点
提出基于模态专家混合的脑部病灶分割通用模型，实现多模态病灶的自动分割。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑部病灶分割 通用模型 模态专家混合 课程学习 医学图像分析
📋 核心要点
- 现有脑部病灶分割模型通常针对特定病灶类型和成像模态，泛化能力差，实际应用受限。
- 提出模态专家混合（MoME）框架，利用多个专家网络处理不同模态，并通过分层门控网络融合结果。
- 采用课程学习策略，避免专家网络退化，保持专业性。实验结果表明模型优于现有通用模型。
📝 摘要（中文）
脑部病灶分割在神经学研究和诊断中起着至关重要的作用。由于脑部病灶可能由多种病理改变引起，不同类型的脑部病灶在不同的成像模态上表现出不同的特征。因此，脑部病灶分割方法通常以任务特定的方式开发，即针对特定病灶类型和成像模态开发特定的分割模型。然而，使用任务特定的模型需要预先确定病灶类型和成像模态，这使得它们在实际场景中的部署变得复杂。本文提出了一种用于3D脑部病灶分割的通用基础模型，该模型可以自动分割各种成像模态的输入数据中的不同类型的脑部病灶。我们设计了一个新颖的模态专家混合（MoME）框架，其中多个专家网络关注不同的成像模态。一个分层门控网络结合了专家预测并促进了专业知识的协作。此外，我们在训练过程中引入了一种课程学习策略，以避免每个专家网络的退化并保持其专业化。我们在包含五种成像模态和八种病灶类型的九个脑部病灶数据集上评估了所提出的方法。结果表明，我们的模型优于最先进的通用模型，并为未见数据集提供了有希望的泛化能力。
🔬 方法详解
问题定义：脑部病灶分割任务旨在自动识别和分割医学图像中的病变区域。现有方法通常针对特定类型的病灶和特定的成像模态进行优化，缺乏通用性和泛化能力。在实际临床应用中，医生需要处理各种类型的病灶和不同的成像模态，因此需要一种能够自动适应不同情况的通用分割模型。现有方法的痛点在于需要预先确定病灶类型和成像模态，限制了其在实际场景中的部署。
核心思路：论文的核心思路是利用模态专家混合（MoME）框架，让不同的专家网络专注于处理不同的成像模态。通过这种方式，模型可以学习到不同模态下病灶的特定特征，从而提高分割的准确性和鲁棒性。此外，通过分层门控网络，模型可以动态地调整不同专家网络的权重，从而实现对不同模态信息的有效融合。课程学习策略则用于避免专家网络在训练过程中退化，保持其专业性。
技术框架：该方法的技术框架主要包括以下几个模块： 1. 模态专家网络：多个专家网络，每个网络专注于处理一种或多种成像模态。 2. 分层门控网络：用于动态地调整不同专家网络的权重，实现对不同模态信息的有效融合。 3. 课程学习策略：用于避免专家网络在训练过程中退化，保持其专业性。 整体流程是：首先，输入医学图像经过预处理后，被送入多个模态专家网络进行处理。然后，分层门控网络根据输入图像的特征，动态地调整不同专家网络的权重，并将它们的输出进行融合。最后，得到分割结果。
关键创新：该论文最重要的技术创新点在于提出了模态专家混合（MoME）框架。与传统的单一模型相比，MoME框架可以更好地利用不同成像模态的信息，从而提高分割的准确性和鲁棒性。此外，课程学习策略也是一个重要的创新点，它可以有效地避免专家网络在训练过程中退化，保持其专业性。与现有方法的本质区别在于，该方法不再依赖于预先确定病灶类型和成像模态，而是可以自动适应不同的情况。
关键设计： * 模态专家网络结构：可以使用各种常见的分割网络结构，如U-Net、V-Net等。关键在于针对不同的成像模态进行优化。 * 分层门控网络结构：可以使用多层感知机（MLP）或卷积神经网络（CNN）等结构。关键在于设计合适的输入特征和输出权重。 * 课程学习策略：可以根据病灶的难度或成像模态的复杂程度进行排序，逐步增加训练难度。 * 损失函数：可以使用Dice损失、交叉熵损失等常见的分割损失函数。也可以结合多种损失函数，以提高分割的准确性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
该模型在九个脑部病灶数据集上进行了评估，涵盖五种成像模态和八种病灶类型。实验结果表明，该模型优于最先进的通用模型，并在未见数据集上表现出良好的泛化能力。具体性能数据（如Dice系数、Hausdorff距离等）未在摘要中给出，但强调了其优越性和泛化性。
🎯 应用场景
该研究成果可应用于多种脑部疾病的诊断和治疗，例如脑肿瘤、脑卒中、多发性硬化症等。通过自动分割病灶，可以帮助医生更准确地评估病情，制定更有效的治疗方案。此外，该模型还可以用于医学图像分析和研究，例如病灶的生长和变化分析，药物疗效评估等。未来，该技术有望在临床实践中得到广泛应用，提高医疗效率和质量。
📄 摘要（原文）
Brain lesion segmentation plays an essential role in neurological research and diagnosis. As brain lesions can be caused by various pathological alterations, different types of brain lesions tend to manifest with different characteristics on different imaging modalities. Due to this complexity, brain lesion segmentation methods are often developed in a task-specific manner. A specific segmentation model is developed for a particular lesion type and imaging modality. However, the use of task-specific models requires predetermination of the lesion type and imaging modality, which complicates their deployment in real-world scenarios. In this work, we propose a universal foundation model for 3D brain lesion segmentation, which can automatically segment different types of brain lesions for input data of various imaging modalities. We formulate a novel Mixture of Modality Experts (MoME) framework with multiple expert networks attending to different imaging modalities. A hierarchical gating network combines the expert predictions and fosters expertise collaboration. Furthermore, we introduce a curriculum learning strategy during training to avoid the degeneration of each expert network and preserve their specialization. We evaluated the proposed method on nine brain lesion datasets, encompassing five imaging modalities and eight lesion types. The results show that our model outperforms state-of-the-art universal models and provides promising generalization to unseen datasets.