MambaBack: Bridging Local Features and Global Contexts in Whole Slide Image Analysis

📄 arXiv: 2604.15729v1 📥 PDF

作者: Sicheng Chen, Chad Wong, Tianyi Zhang, Enhui Chai, Zeyu Liu, Fei Xia

分类: cs.CV, cs.AI

发布日期: 2026-04-17

💡 一句话要点

MambaBack：结合局部特征与全局上下文的病理切片图像分析方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 全切片图像分析 多示例学习 Mamba Gated CNN 空间局部性 全局上下文建模 病理诊断 Hilbert采样

📋 核心要点

  1. 现有基于Mamba的WSI分析方法在将2D图像转换为1D序列时破坏了空间局部性，并且对细粒度细胞结构的建模能力不足。
  2. MambaBack通过Hilbert采样保持空间局部性，并结合Gated CNN和BiMamba2构建分层结构，从而有效提取局部特征并建模全局上下文。
  3. 实验结果表明，MambaBack在五个数据集上均优于现有方法，并在资源受限设备上降低了推理时的内存峰值。

📝 摘要（中文）

全切片图像(WSI)分析在计算病理学中至关重要，它通过整合不同放大倍数下的形态学和结构线索来实现癌症诊断。多示例学习(MIL)是WSI分析的标准框架。最近，Mamba已成为一种有前途的MIL骨干网络，由于其效率和源于自然语言处理(NLP)的全局上下文建模能力而超越了Transformer。然而，现有的基于Mamba的MIL方法面临三个关键挑战：(1)1D序列展平过程中2D空间局部性的破坏；(2)对细粒度局部细胞结构的次优建模；(3)在资源受限的边缘设备上推理期间的高内存峰值。像MambaOut这样的研究表明，Mamba的SSM组件对于局部特征提取是冗余的，Gated CNN就足够了。认识到WSI分析既需要类似于自然图像的细粒度局部特征提取，又需要类似于NLP的全局上下文建模，我们提出了MambaBack，一种新型混合架构，它协调了Mamba和MambaOut的优势。首先，我们提出了Hilbert采样策略，以保持1D序列中切片的2D空间局部性，从而增强模型的空间感知能力。其次，我们设计了一种分层结构，包括一个基于MambaOut的1D Gated CNN块来捕获局部细胞特征，以及一个BiMamba2块来聚合全局上下文，共同增强多尺度表示。最后，我们实现了一种非对称分块设计，允许在训练期间进行并行处理，在推理期间进行分块流式累积，从而最大限度地减少部署的峰值内存使用。在五个数据集上的实验结果表明，MambaBack优于七种最先进的方法。源代码和数据集已公开。

🔬 方法详解

问题定义：论文旨在解决全切片图像（WSI）分析中，现有基于Mamba的MIL方法在处理2D空间信息时存在的三个主要问题：空间局部性丢失、局部细胞结构建模不足以及推理时内存占用过高。现有方法在将2D图像转换为1D序列时破坏了空间关系，未能充分利用局部细胞特征，并且在边缘设备上部署时面临内存瓶颈。

核心思路：论文的核心思路是结合Mamba和Gated CNN的优势，设计一种混合架构MambaBack，既能有效提取局部细胞特征，又能建模全局上下文信息。通过Hilbert采样保留空间局部性，并采用分层结构分别处理局部和全局信息，同时优化推理过程以降低内存占用。

技术框架：MambaBack的整体架构包含以下几个主要模块：1) Hilbert采样模块，用于将2D图像切片转换为1D序列，同时尽可能保留空间局部性；2) 1D Gated CNN块，基于MambaOut，用于提取局部细胞特征；3) BiMamba2块，用于聚合全局上下文信息；4) 非对称分块模块，用于在训练和推理过程中优化内存使用。整个流程首先通过Hilbert采样将WSI切片转换为1D序列，然后通过Gated CNN提取局部特征，再通过BiMamba2建模全局上下文，最后进行分类或预测。

关键创新：论文的关键创新点在于：1) 提出了Hilbert采样策略，有效保留了2D图像的空间局部性；2) 设计了混合架构MambaBack，结合了Gated CNN和Mamba的优势，实现了局部特征和全局上下文的有效建模；3) 提出了非对称分块设计，显著降低了推理过程中的内存占用。与现有方法相比，MambaBack在空间信息利用、特征提取和内存效率方面均有显著提升。

关键设计：Hilbert采样使用Hilbert曲线对图像切片进行排序，以尽可能保持相邻切片在1D序列中的空间邻近性。Gated CNN块采用1D卷积和门控机制，用于提取局部细胞特征。BiMamba2块采用双向Mamba结构，用于建模全局上下文信息。非对称分块设计在训练时采用并行处理，在推理时采用分块流式累积，以降低内存峰值。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MambaBack在五个WSI数据集上均取得了优于现有方法的性能。例如，在XXX数据集上，MambaBack的准确率达到了XX%，相比于最佳基线方法提升了X%。此外，MambaBack在推理过程中显著降低了内存占用，在边缘设备上的部署成为可能。这些结果充分验证了MambaBack的有效性和实用性。

🎯 应用场景

MambaBack在计算病理学领域具有广泛的应用前景，可用于癌症诊断、预后预测和治疗方案选择。该方法能够有效分析全切片图像，提取关键的形态学和结构线索，辅助病理医生进行更准确、高效的诊断。此外，MambaBack在资源受限设备上的低内存占用特性，使其更易于部署到临床环境中，具有重要的实际应用价值。

📄 摘要（原文）

Whole Slide Image (WSI) analysis is pivotal in computational pathology, enabling cancer diagnosis by integrating morphological and architectural cues across magnifications. Multiple Instance Learning (MIL) serves as the standard framework for WSI analysis. Recently, Mamba has become a promising backbone for MIL, overtaking Transformers due to its efficiency and global context modeling capabilities originating from Natural Language Processing (NLP). However, existing Mamba-based MIL approaches face three critical challenges: (1) disruption of 2D spatial locality during 1D sequence flattening; (2) sub-optimal modeling of fine-grained local cellular structures; and (3) high memory peaks during inference on resource-constrained edge devices. Studies like MambaOut reveal that Mamba's SSM component is redundant for local feature extraction, where Gated CNNs suffice. Recognizing that WSI analysis demands both fine-grained local feature extraction akin to natural images, and global context modeling akin to NLP, we propose MambaBack, a novel hybrid architecture that harmonizes the strengths of Mamba and MambaOut. First, we propose the Hilbert sampling strategy to preserve the 2D spatial locality of tiles within 1D sequences, enhancing the model's spatial perception. Second, we design a hierarchical structure comprising a 1D Gated CNN block based on MambaOut to capture local cellular features, and a BiMamba2 block to aggregate global context, jointly enhancing multi-scale representation. Finally, we implement an asymmetric chunking design, allowing parallel processing during training and chunking-streaming accumulation during inference, minimizing peak memory usage for deployment. Experimental results on five datasets demonstrate that MambaBack outperforms seven state-of-the-art methods. Source code and datasets are publicly available.