Parameter-Efficient Multimodal Brain Tumor Segmentation With Stage-Wise Shared Adapters

📄 arXiv: 2610.18571v1 📥 PDF

作者: Milad Rostamian, Mohammadreza Mohammadi, Ender Konukoglu, Mohsen Soryani

分类: cs.CV

发布日期: 2026-10-13

💡 一句话要点

提出阶段共享适配器以提高多模态脑肿瘤分割性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤分割 多模态融合 深度学习 医学影像 块级共享适配器 参数高效 特征适配 模型优化

📋 核心要点

  1. 现有的脑肿瘤分割模型通常为每种MRI模态使用单独的编码器，导致模型复杂性增加。
  2. 本文提出的块级共享适配器（BWSA）通过共享路径结合模态编码器的特征，简化了特征交换过程。
  3. 实验结果表明，BWSA和TG-BWSA在BraTS 2023数据集上显著提高了分割性能，同时仅增加了少量参数。

📝 摘要（中文）

不同的MRI模态揭示了脑肿瘤的不同部分，分割模型结合这些模态的信息以勾勒肿瘤区域。许多模型为每种模态使用单独的编码器，但在多个阶段之间交换特征会增加模型复杂性。本文提出了块级共享适配器（BWSA），它在共享路径中结合来自模态编码器的压缩特征，并将适配后的特征返回给每个流。在固定混合形式中，BWSA将适配后的特征添加到原始特征中，而其可训练门控变体（TG-BWSA）则在每个模态和编码器阶段学习原始和适配特征的独立权重。我们在BraTS 2020和BraTS 2023上评估了这两种变体，结果显示BWSA在BraTS 2023在线验证集上相较于未修改的基础模型平均区域Dice提高了1.3-7.6个百分点，TG-BWSA则提高了2.8-7.7个百分点。两种变体的参数增加约为0.85-3.73%，并减少了相对于未修改基础模型的平均HD95。

🔬 方法详解

问题定义：本文旨在解决多模态脑肿瘤分割中模型复杂性高的问题。现有方法通常为每种模态使用单独的编码器，导致特征交换困难且模型庞大。

核心思路：提出块级共享适配器（BWSA），通过在共享路径中结合压缩特征，简化特征交换过程。BWSA的固定混合形式将适配特征与原始特征相加，而可训练门控变体（TG-BWSA）则为每个模态学习独立权重。

技术框架：整体架构包括多个模态编码器和一个共享适配器模块。每个编码器提取特征后，BWSA将这些特征进行融合，并将适配后的特征返回给各个编码器流。

关键创新：BWSA的设计使得不同模态的特征可以在共享路径中有效融合，显著降低了模型复杂性，并提高了分割精度。与传统方法相比，BWSA在特征处理上更加高效。

关键设计：BWSA的固定混合形式和可训练门控变体的设计允许灵活的特征融合，且在实验中仅增加了0.85-3.73%的参数，保持了模型的轻量化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BWSA在BraTS 2023在线验证集上相较于未修改的基础模型平均区域Dice提高了1.3-7.6个百分点，而TG-BWSA则提高了2.8-7.7个百分点。两种变体的参数增加仅为0.85-3.73%，同时有效降低了HD95，展示了其在性能和效率上的优势。

🎯 应用场景

该研究在医学影像分析领域具有广泛的应用潜力，尤其是在脑肿瘤的自动分割和诊断中。通过提高分割精度，能够为临床医生提供更可靠的辅助决策工具，进而改善患者的治疗效果和预后。此外，该方法的设计思路也可推广至其他多模态医学影像分析任务。

📄 摘要（原文）

Different MRI modalities reveal different parts of a brain tumor. Segmentation models combine information from these modalities to outline tumor regions. Many models use a separate encoder for each modality. However, exchanging features among these encoders at several stages can increase model complexity. We introduce the Block-Wise Shared Adapter (BWSA), which combines compressed features from the modality encoders in a shared path and returns adapted features to each stream. In its fixed-blending form, BWSA adds the adapted features to the original features. Its trainable-gated variant (TG-BWSA) instead learns separate weights for the original and adapted features at each modality and encoder stage. We evaluate both variants on BraTS 2020 and BraTS 2023 with four segmentation backbones. On the official BraTS 2023 online validation set, BWSA increases average region-wise Dice by 1.3--7.6 percentage points relative to the corresponding unmodified backbones. TG-BWSA increases it by 2.8--7.7 points. Both variants add approximately 0.85--3.73% parameters and reduce average HD95 relative to the unmodified backbones.