Progressive multi-scale tumor-state memory for incomplete multimodal brain tumor segmentation

📄 arXiv: 2610.26457v1 📥 PDF

作者: Milad Rostamian, Mohammadreza Mohammadi, Mohsen Soryani

分类: eess.IV, cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出渐进式多尺度肿瘤状态记忆网络以解决多模态脑肿瘤分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤分割 多模态融合 深度学习 医学影像 状态记忆网络

📋 核心要点

  1. 现有的脑肿瘤分割方法在处理缺失MRI序列时效果不佳，导致分割精度降低。
  2. 本文提出的PMTM网络通过维护肿瘤状态记忆，逐步融合不同模态的信息，提升了分割效果。
  3. 在BraTS2018、BraTS2020和BraTS2023 GLI数据集上，PMTM的Dice分数分别达到75.31%、77.54%和80.47%，超越了多种基线方法。

📝 摘要（中文）

脑肿瘤分割依赖于互补的磁共振成像（MRI）序列，但在实际应用中某些序列可能不可用。这种缺失会影响不同肿瘤区域的分割信息。现有的融合方法虽然可以支持不同的输入子集，但并未明确如何保留和更新肿瘤证据以指导后续的融合。为此，本文提出了一种渐进式多尺度肿瘤状态记忆网络（PMTM），能够从任意非空的T1ce、T1、FLAIR和T2序列中进行分割。PMTM在编码器阶段维护当前主题的紧凑状态，通过分配图将空间特征汇聚为有序的证据向量，并结合先前状态进行更新。实验结果表明，PMTM在BraTS2018、BraTS2020和BraTS2023 GLI数据集上表现优异，Dice分数显著高于现有方法。

🔬 方法详解

问题定义：本文旨在解决脑肿瘤分割中由于缺失MRI序列导致的信息不足问题。现有方法在处理不完整模态时，未能有效保留和更新肿瘤证据，影响分割精度。

核心思路：提出的PMTM网络通过维护一个紧凑的肿瘤状态记忆，结合不同模态的信息，逐步更新状态以指导后续的融合过程，从而提升分割的准确性。

技术框架：PMTM网络由多个编码器阶段组成，每个阶段使用分配图将空间特征汇聚为有序证据向量，并通过学习的门控机制将这些证据与先前状态结合。每个阶段还引入模态令牌混合器，以建模不同模态之间的交互。

关键创新：PMTM的核心创新在于其渐进式的状态记忆机制，能够有效地保留和更新肿瘤证据，与传统的融合方法相比，显著提高了分割性能。

关键设计：网络设计中采用了分配图进行特征聚合，使用学习的门控机制进行状态更新，并在所有阶段应用语义监督，确保了模型的有效性和鲁棒性。具体的损失函数和参数设置在实验中进行了详细的验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BraTS2018、BraTS2020和BraTS2023 GLI数据集上，PMTM的Dice分数分别为75.31%、77.54%和80.47%，显著高于RobustSeg、RFNet和mmFormer等对比基线，展示了其在多模态脑肿瘤分割中的优越性能。

🎯 应用场景

该研究的成果可广泛应用于医学影像分析，特别是在脑肿瘤的自动分割和诊断中。通过提高分割精度，PMTM有助于医生更好地制定治疗方案，提升患者的治疗效果。未来，该方法也可能扩展到其他类型的医学图像分割任务中。

📄 摘要（原文）

Brain tumor segmentation uses complementary magnetic resonance imaging (MRI) sequences, but some sequences may be unavailable in practice. Their absence changes the information available for segmenting different tumor regions. Fusion methods can support different input subsets. However, fusion at several scales does not by itself specify how tumor evidence is retained and updated to guide fusion at later stages. We propose a progressive multi-scale tumor-state memory network (PMTM) for segmentation from any non-empty subset of T1ce, T1, FLAIR, and T2. PMTM maintains a compact state for the current subject across the encoder stages. At each stage, we use assignment maps to pool spatial features into ordered evidence vectors for each available modality. We average these vectors across the available modalities, and a learned gate combines this evidence with the previous state. The up- dated state guides residual fusion at that stage and is used in the state update at the next stage. A modality-token mixer also models interactions among the available modalities at each stage. We apply semantic supervision to the assignment maps at all four stages. We evaluate PMTM on BraTS2018, BraTS2020, and BraTS2023 GLI across all 15 non-empty modality subsets. Averaged over the three tumor regions and the 15 subsets, PMTM achieves Dice scores of 75.31%, 77.54%, and 80.47% on BraTS2018, BraTS2020, and BraTS2023 GLI, respectively. These scores are higher than those of RobustSeg, RFNet, and mmFormer in our experiments on each dataset. Component ablations and internal state analysis are performed on BraTS2020.