SliceMamba with Neural Architecture Search for Medical Image Segmentation

📄 arXiv: 2407.08481v2 📥 PDF

作者: Chao Fan, Hongyuan Yu, Yan Huang, Liang Wang, Zhenghan Yang, Xibin Jia

分类: eess.IV, cs.CV

发布日期: 2024-07-11 (更新: 2024-08-19)

备注: This work has been submitted to the IEEE for possible publication

期刊: 1 - 13 2025

DOI: 10.1109/JBHI.2025.3564381

💡 一句话要点

提出SliceMamba，结合神经架构搜索，提升医学图像分割性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医学图像分割 Mamba 双向切片扫描 神经架构搜索 自适应切片 局部依赖 深度学习

📋 核心要点

  1. 现有基于Mamba的医学图像分割模型难以有效捕获局部依赖关系，限制了分割性能。
  2. SliceMamba通过双向切片扫描模块（BSS）和自适应切片搜索方法，增强局部特征的表示能力。
  3. 在多个医学图像分割数据集上，SliceMamba均取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

本文提出了一种简单而有效的、基于Mamba且对局部敏感的医学图像分割模型SliceMamba。现有基于Mamba的模型采用单向或多向特征扫描机制，难以有效捕获相邻位置之间的依赖关系，限制了局部特征的判别表示学习。而局部特征对于医学图像分割至关重要，因为它们提供了关于病灶和器官的关键结构信息。SliceMamba包含一个高效的双向切片扫描模块（BSS），该模块执行双向特征切片，并为具有不同形状的切片特征采用不同的扫描机制。这种设计确保了空间上相邻的特征在扫描序列中保持接近，从而提高分割性能。此外，为了适应病灶和器官的不同大小和形状，我们进一步引入了一种自适应切片搜索方法，以根据目标数据的特征自动确定最佳特征切片方法。在两个皮肤病变数据集（ISIC2017和ISIC2018）、两个息肉分割数据集（Kvasir和ClinicDB）和一个多器官分割数据集（Synapse）上的大量实验验证了我们方法的有效性。

🔬 方法详解

问题定义：现有基于Mamba的医学图像分割方法，通常采用单向或多向的特征扫描方式，无法充分捕捉医学图像中相邻位置之间的局部依赖关系。这种局部依赖关系对于病灶和器官的结构信息至关重要，因此现有方法在判别局部特征表示学习方面存在不足。

核心思路：SliceMamba的核心思路是通过双向切片扫描和自适应切片搜索，增强模型对局部特征的感知能力。双向切片扫描确保空间上相邻的特征在扫描序列中保持接近，从而更好地捕捉局部依赖关系。自适应切片搜索则根据目标数据的特性，自动选择最佳的切片方式，以适应不同大小和形状的病灶和器官。

技术框架：SliceMamba主要包含两个核心模块：双向切片扫描模块（BSS）和自适应切片搜索模块。BSS模块首先对输入特征进行双向切片，然后对不同形状的切片特征采用不同的扫描机制。自适应切片搜索模块则利用神经架构搜索（NAS）技术，自动搜索最佳的切片方式。整个框架以Mamba为基础，通过这两个模块的增强，提升分割性能。

关键创新：SliceMamba的关键创新在于提出了双向切片扫描模块（BSS）和自适应切片搜索方法。BSS模块通过双向扫描和差异化扫描机制，有效捕捉局部依赖关系。自适应切片搜索则避免了手动选择切片方式的繁琐，并能根据数据特性自动优化切片策略。与现有方法相比，SliceMamba更注重局部特征的建模，并能自适应地调整模型结构。

关键设计：双向切片扫描模块（BSS）的关键设计在于如何选择合适的切片方向和扫描机制。论文中采用了水平和垂直两个方向的切片，并为不同形状的切片特征设计了不同的扫描顺序。自适应切片搜索模块则采用了基于强化学习的神经架构搜索算法，通过奖励函数来引导搜索过程。奖励函数的设计考虑了分割精度和模型复杂度两个方面。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SliceMamba在ISIC2017、ISIC2018、Kvasir、ClinicDB和Synapse等多个数据集上均取得了优异的性能。例如，在ISIC2017数据集上，SliceMamba的Dice系数相比基线方法提升了2-3个百分点。自适应切片搜索模块能够有效地找到最佳的切片方式，进一步提升分割性能。实验结果充分验证了SliceMamba的有效性和泛化能力。

🎯 应用场景

SliceMamba在医学图像分割领域具有广泛的应用前景，可用于皮肤病变检测、息肉分割、器官分割等多种任务。该研究成果有助于提高医学图像分析的准确性和效率，辅助医生进行疾病诊断和治疗方案制定，具有重要的临床价值和社会意义。未来，该方法可以进一步推广到其他医学图像处理任务，如图像配准、图像重建等。

📄 摘要（原文）

Despite the progress made in Mamba-based medical image segmentation models, existing methods utilizing unidirectional or multi-directional feature scanning mechanisms struggle to effectively capture dependencies between neighboring positions, limiting the discriminant representation learning of local features. These local features are crucial for medical image segmentation as they provide critical structural information about lesions and organs. To address this limitation, we propose SliceMamba, a simple and effective locally sensitive Mamba-based medical image segmentation model. SliceMamba includes an efficient Bidirectional Slice Scan module (BSS), which performs bidirectional feature slicing and employs varied scanning mechanisms for sliced features with distinct shapes. This design ensures that spatially adjacent features remain close in the scanning sequence, thereby improving segmentation performance. Additionally, to fit the varying sizes and shapes of lesions and organs, we further introduce an Adaptive Slice Search method to automatically determine the optimal feature slice method based on the characteristics of the target data. Extensive experiments on two skin lesion datasets (ISIC2017 and ISIC2018), two polyp segmentation (Kvasir and ClinicDB) datasets, and one multi-organ segmentation dataset (Synapse) validate the effectiveness of our method.