Patch-MoE Mamba: A Patch-Ordered Mixture-of-Experts State Space Architecture for Medical Image Segmentation

📄 arXiv: 2605.17719v1 📥 PDF

作者: Diego Adame, Fabian Vazquez, Jose A. Nunez, Huimin Li, Jinghao Yang, Erik Enriquez, DongChul Kim, Haoteng Tang, Bin Fu, Pengfei Gu

分类: cs.CV

发布日期: 2026-05-18

💡 一句话要点

提出Patch-MoE Mamba，用于提升医学图像分割性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医学图像分割 Mamba 状态空间模型 混合专家模型 分层扫描 自适应融合 息肉分割 皮肤病变分割

📋 核心要点

  1. 现有基于CNN和Transformer的医学图像分割方法存在局限性，CNN难以建模长程依赖，Transformer计算和内存复杂度高。
  2. Patch-MoE Mamba通过分层patch排序扫描机制和MoE定向融合模块，在保留局部空间信息的同时，自适应地融合多方向信息。
  3. 实验表明，Patch-MoE Mamba在多个医学图像分割数据集上表现出优越的性能和泛化能力。

📝 摘要（中文）

本文提出了一种名为Patch-MoE Mamba的混合专家状态空间架构，用于医学图像分割。该架构旨在解决现有Mamba分割模型在处理医学图像时面临的两个主要限制：像素级定向扫描破坏局部2D空间结构，以及基于简单求和的扫描方向融合无法很好地适应不同的对象大小、形状和边界。Patch-MoE Mamba引入了一种分层patch排序扫描机制，在捕获多尺度上下文的同时保留局部空间邻域。此外，它还引入了一个基于MoE的定向融合模块，该模块使用四个定向专家、一个可学习的连接专家和残差定向聚合来自适应地组合多个Mamba扫描器的输出。在五个公共息肉分割基准数据集和ISIC 2017/2018皮肤病变分割数据集上的实验结果表明了Patch-MoE Mamba的有效性和泛化性。

🔬 方法详解

问题定义：医学图像分割任务中，现有基于Mamba的分割模型存在两个主要问题。一是像素级的定向扫描会破坏图像的局部2D空间结构，导致分割精度下降。二是简单的基于求和的扫描方向融合方法无法有效适应医学图像中各种大小、形状和边界的目标。

核心思路：Patch-MoE Mamba的核心思路是通过引入分层patch排序扫描机制来保留局部空间邻域信息，并利用混合专家模型（MoE）自适应地融合来自不同扫描方向的信息。这种设计旨在克服现有Mamba模型的局限性，提高医学图像分割的准确性和鲁棒性。

技术框架：Patch-MoE Mamba的整体架构包括以下几个主要模块：1) Patch Embedding：将输入图像分割成patch，并进行嵌入表示。2) Patch-Ordered Scanning：采用分层patch排序扫描机制，对图像进行多方向扫描。3) Mamba Block：使用Mamba块进行特征提取和序列建模。4) MoE-based Directional Fusion：使用基于MoE的定向融合模块，自适应地融合来自不同扫描方向的特征。5) Segmentation Head：使用分割头进行像素级别的分割预测。

关键创新：Patch-MoE Mamba的关键创新点在于：1) 提出了分层patch排序扫描机制，有效保留了局部空间邻域信息。2) 引入了基于MoE的定向融合模块，能够自适应地融合来自不同扫描方向的特征，从而更好地适应医学图像中各种形状和大小的目标。与现有方法相比，Patch-MoE Mamba在保留局部空间信息和自适应融合多方向信息方面具有优势。

关键设计：Patch-MoE Mamba的关键设计包括：1) Patch大小的选择：根据图像分辨率和目标大小选择合适的patch大小。2) MoE模块中专家数量和类型的选择：论文使用了四个定向专家和一个可学习的连接专家。3) 损失函数：使用Dice Loss和Cross-Entropy Loss的组合作为损失函数，以提高分割精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Patch-MoE Mamba在五个公共息肉分割基准数据集和ISIC 2017/2018皮肤病变分割数据集上进行了评估。实验结果表明，Patch-MoE Mamba在这些数据集上均取得了优异的性能，显著优于现有的基于CNN和Transformer的分割模型。例如，在息肉分割任务中，Patch-MoE Mamba的Dice系数平均提升了2-3个百分点。

🎯 应用场景

Patch-MoE Mamba具有广泛的应用前景，可应用于多种医学图像分割任务，例如息肉分割、皮肤病变分割、器官分割等。该研究成果有助于提高医学图像分析的准确性和效率，为临床诊断和治疗提供更可靠的依据，具有重要的临床应用价值。

📄 摘要（原文）

CNN- and Transformer-based architectures have achieved strong performance in medical image segmentation, but CNNs are limited in modeling long-range dependencies, while Transformers often suffer from quadratic computational and memory complexity. State space models, especially Mamba-based networks, offer an efficient alternative with linear sequence complexity. However, existing Mamba segmentation models still face two limitations: pixel-wise directional scanning can disrupt local 2D spatial structure, and simple summation-based fusion of scan directions cannot adapt well to diverse object sizes, shapes, and boundaries. To address these issues, we propose \textit{Patch-MoE Mamba}, a patch-ordered mixture-of-experts state space architecture for medical image segmentation. It introduces a hierarchical patch-ordered scanning mechanism that preserves local spatial neighborhoods while capturing multi-scale context, and an MoE-based directional fusion module that adaptively combines multiple Mamba scanner outputs using four directional experts, a learnable concatenation expert, and residual directional aggregation. Experiments on five public polyp segmentation benchmarks and the ISIC 2017/2018 skin lesion segmentation datasets demonstrate the effectiveness and generality of Patch-MoE Mamba.