PanopMamba: Vision State Space Modeling for Nuclei Panoptic Segmentation

📄 arXiv: 2601.16631v1 📥 PDF

作者: Ming Kang, Fung Fung Ting, Raphaël C. -W. Phan, Zongyuan Ge, Chee-Ming Ting

分类: eess.IV, cs.CV, eess.SP, stat.AP

发布日期: 2026-01-23

备注: 10 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

PanopMamba：用于细胞核全景分割的视觉状态空间建模

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 细胞核分割 全景分割 Mamba 状态空间模型 病理图像分析 深度学习 医学图像处理

📋 核心要点

  1. 细胞核全景分割面临小物体检测、模糊边界处理和类别不平衡等挑战，现有方法难以有效应对。
  2. PanopMamba通过集成Mamba和Transformer，并采用基于状态空间模型的特征增强融合，实现高效远程感知和多尺度信息共享。
  3. 实验结果表明，PanopMamba在MoNuSAC2020和NuInsSeg数据集上优于现有方法，并在多种评估指标下表现出鲁棒性。

📝 摘要（中文）

本文提出PanopMamba，一种新颖的混合编码器-解码器架构，它集成了Mamba和Transformer，并通过状态空间建模进行额外的特征增强融合，以解决细胞核全景分割中的挑战。该方法旨在通过整合不同细胞类型的语义和实例分割来支持癌症诊断，从而分析组织结构和个体细胞核。主要挑战包括小物体检测、处理模糊边界和解决类别不平衡问题。PanopMamba设计了一个多尺度Mamba骨干网络和一个基于状态空间模型（SSM）的融合网络，以实现金字塔特征中高效的远程感知，从而扩展了纯编码器-解码器框架，同时促进了细胞核多尺度特征之间的信息共享。基于SSM的特征增强融合集成了金字塔特征网络和跨不同空间尺度的动态特征增强，从而增强了语义和空间维度上密集重叠细胞核的特征表示。据我们所知，这是第一个基于Mamba的全景分割方法。此外，我们引入了替代评估指标，包括图像级全景质量（$i$PQ）、边界加权PQ（$w$PQ）和频率加权PQ（$fw$PQ），这些指标专门用于解决细胞核分割的独特挑战，从而减轻了vanilla PQ中固有的潜在偏差。在MoNuSAC2020和NuInsSeg两个多类细胞核分割基准数据集上的实验评估表明，PanopMamba在细胞核全景分割方面优于最先进的方法。PanopMamba的鲁棒性在各种指标上得到了验证，同时也证明了PQ变体的独特性。

🔬 方法详解

问题定义：论文旨在解决病理图像中细胞核全景分割的问题，即同时进行细胞核的语义分割和实例分割。现有方法在处理小细胞核、细胞核边界模糊以及类别不平衡问题时表现不佳，导致分割精度下降。

核心思路：论文的核心思路是利用Mamba架构强大的序列建模能力，结合Transformer的全局上下文感知能力，并通过状态空间模型（SSM）进行特征增强融合，从而提升细胞核全景分割的性能。Mamba能够高效地处理长距离依赖关系，Transformer可以捕捉全局上下文信息，SSM则用于增强多尺度特征的融合。

技术框架：PanopMamba采用混合编码器-解码器架构。编码器部分使用多尺度Mamba骨干网络提取特征，解码器部分则利用Transformer进行特征融合和分割预测。在编码器和解码器之间，引入基于SSM的特征增强融合模块，用于增强多尺度特征的表示能力。整体流程包括：输入图像经过Mamba骨干网络提取多尺度特征；多尺度特征通过SSM进行融合和增强；增强后的特征输入Transformer解码器进行语义分割和实例分割预测。

关键创新：该论文最关键的创新在于将Mamba架构引入到细胞核全景分割任务中，并设计了基于状态空间模型的特征增强融合模块。这是首次尝试将Mamba应用于全景分割，并证明了其在处理病理图像中的长距离依赖关系和复杂结构方面的有效性。与传统的卷积神经网络或Transformer相比，Mamba在计算效率和建模能力上具有优势。

关键设计：多尺度Mamba骨干网络采用金字塔结构，提取不同尺度的特征。基于SSM的特征增强融合模块利用状态空间模型对多尺度特征进行动态建模和增强。损失函数采用标准的Panoptic Quality (PQ) 损失，并引入了图像级PQ ($i$PQ)、边界加权PQ ($w$PQ)和频率加权PQ ($fw$PQ)等替代评估指标，以更全面地评估分割性能。

📊 实验亮点

PanopMamba在MoNuSAC2020和NuInsSeg两个多类细胞核分割基准数据集上取得了显著的性能提升，超越了现有的最先进方法。实验结果表明，PanopMamba在Panoptic Quality (PQ) 指标上取得了明显的提升，并且在图像级PQ ($i$PQ)、边界加权PQ ($w$PQ)和频率加权PQ ($fw$PQ)等替代评估指标上也表现出优异的性能。

🎯 应用场景

PanopMamba在病理图像分析领域具有广泛的应用前景，可用于癌症诊断、预后评估和治疗方案选择。通过精确分割细胞核，医生可以更好地了解肿瘤的组织结构和细胞异质性，从而提高诊断准确性和治疗效果。该技术还可以应用于药物研发，加速新药筛选和临床试验。

📄 摘要（原文）

Nuclei panoptic segmentation supports cancer diagnostics by integrating both semantic and instance segmentation of different cell types to analyze overall tissue structure and individual nuclei in histopathology images. Major challenges include detecting small objects, handling ambiguous boundaries, and addressing class imbalance. To address these issues, we propose PanopMamba, a novel hybrid encoder-decoder architecture that integrates Mamba and Transformer with additional feature-enhanced fusion via state space modeling. We design a multiscale Mamba backbone and a State Space Model (SSM)-based fusion network to enable efficient long-range perception in pyramid features, thereby extending the pure encoder-decoder framework while facilitating information sharing across multiscale features of nuclei. The proposed SSM-based feature-enhanced fusion integrates pyramid feature networks and dynamic feature enhancement across different spatial scales, enhancing the feature representation of densely overlapping nuclei in both semantic and spatial dimensions. To the best of our knowledge, this is the first Mamba-based approach for panoptic segmentation. Additionally, we introduce alternative evaluation metrics, including image-level Panoptic Quality ($i$PQ), boundary-weighted PQ ($w$PQ), and frequency-weighted PQ ($fw$PQ), which are specifically designed to address the unique challenges of nuclei segmentation and thereby mitigate the potential bias inherent in vanilla PQ. Experimental evaluations on two multiclass nuclei segmentation benchmark datasets, MoNuSAC2020 and NuInsSeg, demonstrate the superiority of PanopMamba for nuclei panoptic segmentation over state-of-the-art methods. Consequently, the robustness of PanopMamba is validated across various metrics, while the distinctiveness of PQ variants is also demonstrated. Code is available at https://github.com/mkang315/PanopMamba.