Mamba2MIL: State Space Duality Based Multiple Instance Learning for Computational Pathology

📄 arXiv: 2408.15032v1 📥 PDF

作者: Yuqi Zhang, Xiaoqian Zhang, Jiakai Wang, Yuancheng Yang, Taiying Peng, Chao Tong

分类: cs.CV, cs.AI

发布日期: 2024-08-27

🔗 代码/项目: GITHUB

💡 一句话要点

Mamba2MIL：基于状态空间对偶性的多示例学习用于计算病理学

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 计算病理学 多示例学习 状态空间模型 全切片图像 序列建模

📋 核心要点

  1. 现有计算病理学中的多示例学习方法，如基于CNN和注意力机制的模型，在融合多样化特征和利用序列信息方面存在不足。
  2. Mamba2MIL框架利用状态空间对偶模型(SSD)建模WSI切片序列，并结合加权特征选择和序列转换方法，提升特征融合和序列信息利用。
  3. 实验结果表明，Mamba2MIL在NSCLC和BRACS数据集上超越了现有MIL方法，在AUC和准确率等指标上均有显著提升。

📝 摘要（中文）

计算病理学(CPath)显著推动了病理学的临床实践。尽管取得了进展，多示例学习(MIL)作为CPath中一种有前景的范式，仍然面临挑战，特别是与不完整的信息利用相关。现有的框架，例如基于卷积神经网络(CNN)、注意力机制和选择性扫描空间状态序列模型(SSM)的框架，在融合多样化特征方面缺乏足够的灵活性和可扩展性，并且不能有效地融合多样化特征。此外，当前的方法没有充分利用与顺序相关和与顺序无关的特征，导致对序列信息的次优利用。为了解决这些局限性，我们提出了一种名为Mamba2MIL的新型MIL框架。我们的框架利用状态空间对偶模型(SSD)来建模全切片图像(WSI)的长序列切片，结合加权特征选择，支持更多分支特征的融合处理，并可以根据具体的应用需求进行扩展。此外，我们引入了一种针对不同WSI大小的序列转换方法，增强了序列无关的特征，同时保留了局部序列信息，从而提高了序列信息的利用率。大量的实验表明，Mamba2MIL超越了最先进的MIL方法。我们在多个数据集上进行了广泛的实验，几乎在所有性能指标上都取得了改进。具体而言，在NSCLC数据集上，Mamba2MIL实现了0.9533的二元肿瘤分类AUC和0.8794的准确率。在BRACS数据集上，它实现了0.7986的多类分类AUC和0.4981的准确率。代码可在https://github.com/YuqiZhang-Buaa/Mamba2MIL获取。

🔬 方法详解

问题定义：论文旨在解决计算病理学中多示例学习(MIL)方法在处理全切片图像(WSI)时，对图像切片特征融合不足以及序列信息利用不充分的问题。现有方法，如基于CNN、注意力机制和SSM的模型，无法有效融合多样化特征，并且对与顺序相关和顺序无关的特征利用不足，导致性能受限。

核心思路：论文的核心思路是利用状态空间对偶模型(SSD)来建模WSI切片的长序列，并结合加权特征选择和序列转换方法，从而更有效地融合多样化特征，并充分利用序列信息。SSD模型能够捕捉长距离依赖关系，加权特征选择能够突出重要特征，序列转换方法则增强了序列无关特征。

技术框架：Mamba2MIL框架主要包含以下几个模块：1) 特征提取模块：用于从WSI切片中提取特征。2) 状态空间对偶模型(SSD)：用于建模切片序列，捕捉长距离依赖关系。3) 加权特征选择模块：用于选择重要特征，提高特征融合的效率。4) 序列转换模块：用于增强序列无关的特征，同时保留局部序列信息。5) 分类器：用于最终的疾病分类。整体流程是，首先提取WSI切片的特征，然后利用SSD模型建模序列，通过加权特征选择突出重要特征，再通过序列转换增强序列无关特征，最后使用分类器进行分类。

关键创新：论文最重要的技术创新点在于将状态空间对偶模型(SSD)引入到多示例学习中，用于建模WSI切片序列。与传统的CNN和注意力机制相比，SSD模型能够更好地捕捉长距离依赖关系，从而更有效地利用序列信息。此外，论文提出的加权特征选择和序列转换方法也进一步提高了特征融合和序列信息利用的效率。

关键设计：论文的关键设计包括：1) SSD模型的具体结构和参数设置，例如状态向量的维度、转移矩阵的初始化等。2) 加权特征选择的权重计算方法，例如基于注意力机制或梯度的方法。3) 序列转换的具体方法，例如傅里叶变换或小波变换。4) 损失函数的设计，例如交叉熵损失或Focal Loss。这些设计细节对最终的性能至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Mamba2MIL在NSCLC数据集上实现了0.9533的二元肿瘤分类AUC和0.8794的准确率，在BRACS数据集上实现了0.7986的多类分类AUC和0.4981的准确率。相较于现有方法，Mamba2MIL在多个数据集上都取得了显著的性能提升，证明了其有效性和优越性。

🎯 应用场景

Mamba2MIL在计算病理学领域具有广泛的应用前景，可用于肿瘤诊断、分级和预后预测等任务。该方法能够提高诊断的准确性和效率，辅助病理医生进行更精准的临床决策。未来，该研究可以推广到其他医学图像分析领域，例如放射影像学和眼科图像分析等。

📄 摘要（原文）

Computational pathology (CPath) has significantly advanced the clinical practice of pathology. Despite the progress made, Multiple Instance Learning (MIL), a promising paradigm within CPath, continues to face challenges, particularly related to incomplete information utilization. Existing frameworks, such as those based on Convolutional Neural Networks (CNNs), attention, and selective scan space state sequential model (SSM), lack sufficient flexibility and scalability in fusing diverse features, and cannot effectively fuse diverse features. Additionally, current approaches do not adequately exploit order-related and order-independent features, resulting in suboptimal utilization of sequence information. To address these limitations, we propose a novel MIL framework called Mamba2MIL. Our framework utilizes the state space duality model (SSD) to model long sequences of patches of whole slide images (WSIs), which, combined with weighted feature selection, supports the fusion processing of more branching features and can be extended according to specific application needs. Moreover, we introduce a sequence transformation method tailored to varying WSI sizes, which enhances sequence-independent features while preserving local sequence information, thereby improving sequence information utilization. Extensive experiments demonstrate that Mamba2MIL surpasses state-of-the-art MIL methods. We conducted extensive experiments across multiple datasets, achieving improvements in nearly all performance metrics. Specifically, on the NSCLC dataset, Mamba2MIL achieves a binary tumor classification AUC of 0.9533 and an accuracy of 0.8794. On the BRACS dataset, it achieves a multiclass classification AUC of 0.7986 and an accuracy of 0.4981. The code is available at https://github.com/YuqiZhang-Buaa/Mamba2MIL.