MGML: A Plug-and-Play Meta-Guided Multi-Modal Learning Framework for Incomplete Multimodal Brain Tumor Segmentation

📄 arXiv: 2512.23936v1 📥 PDF

作者: Yulong Zou, Bo Liu, Cun-Jing Zheng, Yuan-ming Geng, Siyue Li, Qiankun Zuo, Shuihua Wang, Yudong Zhang, Jin Hong

分类: cs.CV

发布日期: 2025-12-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出MGML框架，解决脑肿瘤分割中多模态MRI数据不完整问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤分割 多模态学习 不完整数据 元学习 自适应融合 一致性正则化 医学图像分析

📋 核心要点

  1. 临床MRI数据常不完整，如何有效利用现有模态信息是脑肿瘤分割的关键挑战。
  2. MGML框架通过元参数化自适应模态融合和一致性正则化，提升模型对不完整数据的鲁棒性。
  3. 在BraTS2020数据集上，MGML在多种模态缺失情况下，分割Dice系数显著优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的元引导多模态学习（MGML）框架，用于解决不完整多模态脑肿瘤分割问题。该框架包含两个关键组件：元参数化自适应模态融合（Meta-AMF）和一致性正则化模块。Meta-AMF使模型能够在不同输入条件下有效地整合来自多个模态的信息，并通过生成基于可用模态的自适应软标签监督信号，显式地促进更连贯的多模态融合。此外，一致性正则化模块增强了分割性能，并隐式地增强了整体框架的鲁棒性和泛化能力。该方法不改变原始模型架构，可以方便地集成到端到端模型优化的训练流程中。在BraTS2020和BraTS2023数据集上的大量实验表明，该方法优于以往的多种最先进方法。在BraTS2020上，对于十五种缺失模态组合的平均Dice分数，在基线模型的基础上，我们的方法在全肿瘤（WT）、肿瘤核心（TC）和增强肿瘤（ET）上的得分分别为87.55、79.36和62.67。

🔬 方法详解

问题定义：脑肿瘤分割依赖多模态MRI信息，但临床数据常存在模态缺失，导致现有方法无法充分利用可用信息，分割精度下降。现有方法难以有效融合不同模态的信息，尤其是在模态不完整的情况下。

核心思路：MGML的核心在于自适应地融合可用模态的信息，并利用一致性正则化来提高模型的鲁棒性。通过元学习的方式，模型可以根据不同的模态组合动态调整融合策略，从而更好地适应不完整的数据。一致性正则化则通过约束不同模态下的预测结果，增强模型的泛化能力。

技术框架：MGML框架包含两个主要模块：Meta-AMF（元参数化自适应模态融合）和一致性正则化模块。Meta-AMF负责根据输入的模态组合，动态生成融合权重，实现自适应的模态融合。一致性正则化模块则通过最小化不同模态组合下的预测差异，提高模型的鲁棒性。整个框架可以作为一个插件，集成到现有的分割模型中。

关键创新：MGML的关键创新在于Meta-AMF模块，它通过元学习的方式，学习不同模态组合下的最优融合策略。与传统的固定权重融合方法相比，Meta-AMF能够更好地适应不完整的数据，并充分利用可用信息。此外，一致性正则化模块也进一步提高了模型的鲁棒性和泛化能力。

关键设计：Meta-AMF模块使用一个元网络来预测融合权重，该元网络的输入是模态组合的编码向量。一致性正则化模块使用KL散度来衡量不同模态组合下的预测差异。损失函数由分割损失和一致性损失组成，通过端到端的方式进行优化。具体来说，分割损失采用Dice Loss，一致性损失采用KL Divergence Loss，整体损失函数为两者的加权和。

📊 实验亮点

在BraTS2020数据集上，MGML在15种模态缺失组合下，全肿瘤（WT）、肿瘤核心（TC）和增强肿瘤（ET）的平均Dice系数分别达到87.55、79.36和62.67，显著优于现有方法，证明了其在不完整多模态数据下的优越性能。代码已开源。

🎯 应用场景

该研究成果可应用于临床脑肿瘤诊断和治疗，尤其是在MRI数据不完整的情况下，能够提高分割精度，辅助医生进行更准确的肿瘤评估和治疗方案制定。该方法具有良好的通用性，可以推广到其他医学图像分割任务中，具有重要的临床应用价值。

📄 摘要（原文）

Leveraging multimodal information from Magnetic Resonance Imaging (MRI) plays a vital role in lesion segmentation, especially for brain tumors. However, in clinical practice, multimodal MRI data are often incomplete, making it challenging to fully utilize the available information. Therefore, maximizing the utilization of this incomplete multimodal information presents a crucial research challenge. We present a novel meta-guided multi-modal learning (MGML) framework that comprises two components: meta-parameterized adaptive modality fusion and consistency regularization module. The meta-parameterized adaptive modality fusion (Meta-AMF) enables the model to effectively integrate information from multiple modalities under varying input conditions. By generating adaptive soft-label supervision signals based on the available modalities, Meta-AMF explicitly promotes more coherent multimodal fusion. In addition, the consistency regularization module enhances segmentation performance and implicitly reinforces the robustness and generalization of the overall framework. Notably, our approach does not alter the original model architecture and can be conveniently integrated into the training pipeline for end-to-end model optimization. We conducted extensive experiments on the public BraTS2020 and BraTS2023 datasets. Compared to multiple state-of-the-art methods from previous years, our method achieved superior performance. On BraTS2020, for the average Dice scores across fifteen missing modality combinations, building upon the baseline, our method obtained scores of 87.55, 79.36, and 62.67 for the whole tumor (WT), the tumor core (TC), and the enhancing tumor (ET), respectively. We have made our source code publicly available at https://github.com/worldlikerr/MGML.