UPMAD-Net: A Brain Tumor Segmentation Network with Uncertainty Guidance and Adaptive Multimodal Feature Fusion

📄 arXiv: 2505.03494v1 📥 PDF

作者: Zhanyuan Jia, Ni Yao, Danyang Sun, Chuang Han, Yanting Li, Jiaofen Nan, Fubao Zhu, Chen Zhao, Weihua Zhou

分类: cs.CV

发布日期: 2025-05-06

备注: 21 pages, 7 figures

🔗 代码/项目: GITHUB

💡 一句话要点

UPMAD-Net：结合不确定性引导和自适应多模态特征融合的脑肿瘤分割网络

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤分割 深度学习 多模态融合 不确定性估计 自适应注意力机制

📋 核心要点

  1. 脑肿瘤分割面临肿瘤形状不规则、边界模糊和高变异性的挑战，现有方法难以实现精确分割。
  2. UPMAD-Net结合深度学习与区域生长算法的先验知识，利用多尺度特征融合和自适应注意力机制，并引入不确定性估计来提升分割精度。
  3. 在BraTS数据集上的实验表明，UPMAD-Net显著优于现有方法，在BraTS2021数据集上，ET、WT和TC分割的Dice系数分别达到89.18%、93.67%和91.23%。

📝 摘要（中文）

脑肿瘤分割对脑肿瘤的诊断和治疗具有重要意义。由于脑肿瘤形状不规则、边界模糊且变异性高，精确的脑肿瘤分割仍然具有挑战性。本文提出了一种将深度学习与区域生长算法的先验知识相结合的脑肿瘤分割方法。该方法利用多尺度特征融合（MSFF）模块和自适应注意力机制（AAM）来提取多尺度特征并捕获全局上下文信息。为了增强模型在低置信度区域的鲁棒性，采用了蒙特卡洛Dropout（MC Dropout）策略进行不确定性估计。大量实验表明，该方法在脑肿瘤分割（BraTS）数据集上取得了优异的性能，显著优于各种最先进的方法。在BraTS2021数据集上，增强肿瘤（ET）分割的测试Dice系数为89.18%，全肿瘤（WT）分割的测试Dice系数为93.67%，肿瘤核心（TC）分割的测试Dice系数为91.23%。

🔬 方法详解

问题定义：脑肿瘤分割是医学图像分析中的关键任务，但由于脑肿瘤形状不规则、边界模糊以及不同患者间的差异性，现有方法难以实现精确和鲁棒的分割。现有方法在处理低置信度区域时表现不佳，容易产生过分割或欠分割的问题。

核心思路：本文的核心思路是将深度学习与传统的区域生长算法的先验知识相结合，利用深度学习提取多尺度特征和上下文信息，并通过不确定性估计来指导模型关注低置信度区域，从而提高分割的准确性和鲁棒性。这种结合利用了深度学习的强大特征提取能力和传统算法的先验知识，弥补了单一方法的不足。

技术框架：UPMAD-Net基于U-Net架构，主要包含以下模块：1) 多尺度特征融合（MSFF）模块，用于提取不同尺度的特征；2) 自适应注意力机制（AAM），用于捕获全局上下文信息；3) 蒙特卡洛Dropout（MC Dropout），用于不确定性估计。整体流程是：首先，输入多模态脑部MRI图像；然后，通过MSFF和AAM提取特征；接着，利用MC Dropout进行不确定性估计；最后，输出分割结果。

关键创新：该论文的关键创新在于：1) 结合了深度学习和区域生长算法的先验知识；2) 提出了自适应多模态特征融合方法，能够有效地融合不同模态的特征；3) 引入了不确定性估计，提高了模型在低置信度区域的鲁棒性。与现有方法相比，UPMAD-Net能够更准确地分割脑肿瘤，尤其是在边界模糊的区域。

关键设计：MSFF模块采用不同大小的卷积核提取多尺度特征，AAM模块使用自注意力机制捕获全局上下文信息。MC Dropout通过在推理阶段多次进行Dropout操作来估计分割结果的不确定性。损失函数方面，可能采用了Dice Loss或Cross-Entropy Loss，具体参数设置未知。网络结构细节，如卷积层数、通道数等，论文中可能未详细描述。

📊 实验亮点

UPMAD-Net在BraTS2021数据集上取得了显著的性能提升，ET分割的Dice系数达到89.18%，WT分割达到93.67%，TC分割达到91.23%。在BraTS2019验证集上，ET、WT和TC分割的Dice系数分别为87.43%、90.92%和90.40%。消融实验表明，MSFF、AAM和MC Dropout等模块均对分割性能有积极贡献。

🎯 应用场景

该研究成果可应用于临床脑肿瘤诊断和治疗计划制定。精确的脑肿瘤分割能够帮助医生更准确地评估肿瘤的大小、位置和形状，从而制定更有效的治疗方案，例如手术切除、放疗或化疗。此外，该技术还可用于辅助医生进行肿瘤生长监测和疗效评估，具有重要的临床应用价值。

📄 摘要（原文）

Background: Brain tumor segmentation has a significant impact on the diagnosis and treatment of brain tumors. Accurate brain tumor segmentation remains challenging due to their irregular shapes, vague boundaries, and high variability. Objective: We propose a brain tumor segmentation method that combines deep learning with prior knowledge derived from a region-growing algorithm. Methods: The proposed method utilizes a multi-scale feature fusion (MSFF) module and adaptive attention mechanisms (AAM) to extract multi-scale features and capture global contextual information. To enhance the model's robustness in low-confidence regions, the Monte Carlo Dropout (MC Dropout) strategy is employed for uncertainty estimation. Results: Extensive experiments demonstrate that the proposed method achieves superior performance on Brain Tumor Segmentation (BraTS) datasets, significantly outperforming various state-of-the-art methods. On the BraTS2021 dataset, the test Dice scores are 89.18% for Enhancing Tumor (ET) segmentation, 93.67% for Whole Tumor (WT) segmentation, and 91.23% for Tumor Core (TC) segmentation. On the BraTS2019 validation set, the validation Dice scores are 87.43%, 90.92%, and 90.40% for ET, WT, and TC segmentation, respectively. Ablation studies further confirmed the contribution of each module to segmentation accuracy, indicating that each component played a vital role in overall performance improvement. Conclusion: This study proposed a novel 3D brain tumor segmentation network based on the U-Net architecture. By incorporating the prior knowledge and employing the uncertainty estimation method, the robustness and performance were improved. The code for the proposed method is available at https://github.com/chenzhao2023/UPMAD_Net_BrainSeg.