Unified Medical Image Segmentation with State Space Modeling Snake

📄 arXiv: 2507.12760v1 📥 PDF

作者: Ruicheng Zhang, Haowei Guo, Kanghui Tian, Jun Zhou, Mingliang Yan, Zeyu Zhang, Shen Zhao

分类: cs.CV, cs.AI

发布日期: 2025-07-17

备注: This paper has been accepted by ACM MM 2025

💡 一句话要点

提出基于状态空间建模的Mamba Snake，用于统一医学图像分割

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 医学图像分割 状态空间模型 深度学习 轮廓演化 Mamba 统一医学图像分割 器官分割

📋 核心要点

  1. 传统像素级医学图像分割方法缺乏对器官间关系和全局解剖结构的建模能力，难以应对复杂形态和特征冲突。
  2. Mamba Snake通过状态空间建模将多轮廓演化视为分层图谱，有效捕捉器官间拓扑关系和轮廓细节。
  3. 实验结果表明，Mamba Snake在多个临床数据集上优于现有方法，平均Dice系数提升3%。

📝 摘要（中文）

统一医学图像分割(UMIS)对于全面的解剖评估至关重要，但面临多尺度结构异质性的挑战。传统的基于像素的方法缺乏对象级别的解剖学见解和器官间关系建模，难以应对形态复杂性和特征冲突，限制了其在UMIS中的有效性。我们提出Mamba Snake，一种新型的深度Snake框架，通过状态空间建模增强，用于UMIS。Mamba Snake将多轮廓演化构建为分层状态空间图谱，有效地建模了宏观的器官间拓扑关系和微观的轮廓细化。我们引入了一个特定于Snake的视觉状态空间模块，即Mamba Evolution Block (MEB)，它利用有效的时空信息聚合来适应性地细化复杂的形态。能量图形状先验进一步确保了异构数据中鲁棒的长程轮廓演化。此外，还加入了一种双重分类协同机制，以同时优化检测和分割，减轻UMIS中微结构的欠分割。在五个临床数据集上的广泛评估表明，Mamba Snake具有优越的性能，平均Dice系数比最先进的方法提高了3%。

🔬 方法详解

问题定义：论文旨在解决统一医学图像分割(UMIS)中，由于多尺度结构异质性和复杂形态导致的分割精度问题。现有基于像素的方法缺乏对器官间关系和全局解剖结构的建模，难以有效处理特征冲突和形态复杂性，导致分割效果不佳。

核心思路：论文的核心思路是将医学图像分割问题转化为一个基于状态空间建模的轮廓演化过程。通过将多轮廓演化建模为分层状态空间图谱，Mamba Snake能够有效地捕捉宏观的器官间拓扑关系和微观的轮廓细节，从而提高分割精度和鲁棒性。

技术框架：Mamba Snake框架主要包含以下几个关键模块：1) 图像输入模块：接收医学图像作为输入。2) Mamba Evolution Block (MEB)：利用状态空间模型进行轮廓演化和特征提取，自适应地细化复杂形态。3) 能量图形状先验：利用能量图作为形状先验，引导轮廓演化，确保长程轮廓的鲁棒性。4) 双重分类协同机制：同时优化检测和分割任务，减轻微结构的欠分割问题。5) 输出分割结果：输出最终的分割结果。

关键创新：Mamba Snake的关键创新在于引入了基于状态空间建模的Mamba Evolution Block (MEB)，用于自适应地细化复杂形态。与传统的卷积神经网络相比，MEB能够更好地捕捉长程依赖关系和全局上下文信息，从而提高分割精度。此外，双重分类协同机制也有效地缓解了微结构的欠分割问题。

关键设计：Mamba Evolution Block (MEB)是基于Mamba架构设计的，利用选择性状态空间模型(Selective State Space Model, S6)进行时序建模。能量图形状先验通过计算图像梯度和距离变换得到，用于引导轮廓演化。双重分类协同机制通过添加一个额外的分类分支来预测每个像素属于哪个器官，从而辅助分割任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mamba Snake在五个临床数据集上进行了广泛评估，实验结果表明，该方法优于现有的最先进方法，平均Dice系数提升了3%。尤其在处理具有复杂形态和多尺度结构的医学图像时，Mamba Snake表现出更强的鲁棒性和分割精度。这些结果验证了Mamba Snake在统一医学图像分割任务中的有效性。

🎯 应用场景

该研究成果可应用于多种医学影像分析任务，如辅助诊断、手术规划、疗效评估等。通过提高医学图像分割的精度和鲁棒性，可以帮助医生更准确地识别病灶、测量器官体积，从而为临床决策提供更可靠的依据。未来，该方法有望推广到更广泛的医学影像领域，并与其他人工智能技术相结合，实现更智能化的医疗服务。

📄 摘要（原文）

Unified Medical Image Segmentation (UMIS) is critical for comprehensive anatomical assessment but faces challenges due to multi-scale structural heterogeneity. Conventional pixel-based approaches, lacking object-level anatomical insight and inter-organ relational modeling, struggle with morphological complexity and feature conflicts, limiting their efficacy in UMIS. We propose Mamba Snake, a novel deep snake framework enhanced by state space modeling for UMIS. Mamba Snake frames multi-contour evolution as a hierarchical state space atlas, effectively modeling macroscopic inter-organ topological relationships and microscopic contour refinements. We introduce a snake-specific vision state space module, the Mamba Evolution Block (MEB), which leverages effective spatiotemporal information aggregation for adaptive refinement of complex morphologies. Energy map shape priors further ensure robust long-range contour evolution in heterogeneous data. Additionally, a dual-classification synergy mechanism is incorporated to concurrently optimize detection and segmentation, mitigating under-segmentation of microstructures in UMIS. Extensive evaluations across five clinical datasets reveal Mamba Snake's superior performance, with an average Dice improvement of 3\% over state-of-the-art methods.