NeuroMamba: Multi-Perspective Feature Interaction with Visual Mamba for Neuron Segmentation
作者: Liuyun Jiang, Yizhuo Lu, Yanchao Zhang, Jiazheng Liu, Hua Han
分类: cs.CV
发布日期: 2026-01-22
💡 一句话要点
NeuroMamba：利用视觉Mamba的多视角特征交互进行神经元分割
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 神经元分割 视觉Mamba 长程依赖 多视角特征 深度学习
📋 核心要点
- 现有基于CNN和Transformer的神经元分割方法分别存在缺乏长程上下文和丢失体素细节的问题，难以精确分割。
- NeuroMamba通过结合Visual Mamba的全局建模能力和局部特征提取器，在保留细节的同时捕获长程依赖关系。
- NeuroMamba在四个公共EM数据集上取得了SOTA性能，验证了其在不同分辨率下的有效性和适应性。
📝 摘要（中文）
神经元分割是重建完整神经元连接组的基础，对于理解大脑的功能组织至关重要。神经元的不规则形态和密集缠绕结构使得这项任务极具挑战性。现有的基于CNN的方法由于缺乏长程上下文信息，常常无法分辨模糊的边界；而基于Transformer的方法由于在patch划分过程中丢失了体素级别的细节，导致边界精度不高。为了解决这些局限性，我们提出了NeuroMamba，一个多视角框架，它利用Mamba的线性复杂度来实现无patch的全局建模，并将其与互补的局部特征建模相结合，从而有效地捕获长程依赖关系，同时细致地保留精细的体素细节。具体来说，我们设计了一个通道门控的边界判别特征提取器（BDFE）来增强局部形态线索。作为补充，我们引入了空间连续特征提取器（SCFE），它将分辨率感知的扫描机制集成到Visual Mamba架构中，以自适应地建模跨不同数据分辨率的全局依赖关系。最后，一个交叉调制机制协同融合这些多视角特征。我们的方法在四个公共EM数据集上展示了最先进的性能，验证了其对各向异性和各向同性分辨率的卓越适应性。源代码将公开提供。
🔬 方法详解
问题定义：神经元分割旨在从电子显微镜（EM）图像中准确识别和分离单个神经元。现有基于CNN的方法难以捕捉长程依赖，导致模糊边界分割错误。基于Transformer的方法虽然能捕捉全局信息，但patch划分会损失体素级别的细节，影响边界精度。
核心思路：NeuroMamba的核心思路是结合Mamba架构的全局建模能力和局部特征提取器的细节保留能力，实现多视角特征交互。通过无patch的全局建模捕获长程依赖，同时利用局部特征提取器增强边界信息，最终融合多视角特征以提升分割精度。
技术框架：NeuroMamba包含三个主要模块：通道门控的边界判别特征提取器（BDFE）、空间连续特征提取器（SCFE）和交叉调制模块。BDFE用于提取局部形态线索，SCFE基于Visual Mamba进行全局依赖建模，交叉调制模块则负责融合来自BDFE和SCFE的特征。整体流程是先分别提取局部和全局特征，然后通过交叉调制进行融合，最后进行神经元分割。
关键创新：NeuroMamba的关键创新在于将Visual Mamba架构引入神经元分割任务，并设计了空间连续特征提取器（SCFE）来实现分辨率感知的全局依赖建模。此外，通道门控的边界判别特征提取器（BDFE）和交叉调制模块也增强了局部特征和多视角特征的融合效果。与现有方法相比，NeuroMamba能够在不损失体素细节的情况下捕获长程依赖。
关键设计：SCFE采用分辨率感知的扫描机制，自适应地建模不同分辨率下的全局依赖关系。BDFE使用通道门控机制来增强局部形态线索。交叉调制模块的具体实现细节（例如，采用何种融合策略，是否引入可学习参数等）在论文中可能有所描述，但摘要中未明确提及。损失函数和具体的网络结构细节需要在论文原文中查找。
🖼️ 关键图片
📊 实验亮点
NeuroMamba在四个公共EM数据集上取得了state-of-the-art的性能，证明了其在神经元分割任务上的有效性。该方法在各向异性和各向同性分辨率的数据集上均表现出色，验证了其对不同数据分辨率的适应性。具体的性能数据和提升幅度需要在论文原文中查找。
🎯 应用场景
NeuroMamba在神经元分割领域具有广泛的应用前景，可以用于构建更完整的神经元连接组，从而帮助科学家们更好地理解大脑的功能组织和工作机制。该技术可以应用于神经科学研究、药物研发、疾病诊断等领域，具有重要的实际价值和深远的未来影响。
📄 摘要（原文）
Neuron segmentation is the cornerstone of reconstructing comprehensive neuronal connectomes, which is essential for deciphering the functional organization of the brain. The irregular morphology and densely intertwined structures of neurons make this task particularly challenging. Prevailing CNN-based methods often fail to resolve ambiguous boundaries due to the lack of long-range context, whereas Transformer-based methods suffer from boundary imprecision caused by the loss of voxel-level details during patch partitioning. To address these limitations, we propose NeuroMamba, a multi-perspective framework that exploits the linear complexity of Mamba to enable patch-free global modeling and synergizes this with complementary local feature modeling, thereby efficiently capturing long-range dependencies while meticulously preserving fine-grained voxel details. Specifically, we design a channel-gated Boundary Discriminative Feature Extractor (BDFE) to enhance local morphological cues. Complementing this, we introduce the Spatial Continuous Feature Extractor (SCFE), which integrates a resolution-aware scanning mechanism into the Visual Mamba architecture to adaptively model global dependencies across varying data resolutions. Finally, a cross-modulation mechanism synergistically fuses these multi-perspective features. Our method demonstrates state-of-the-art performance across four public EM datasets, validating its exceptional adaptability to both anisotropic and isotropic resolutions. The source code will be made publicly available.