Learning Brain Tumor Representation in 3D High-Resolution MR Images via Interpretable State Space Models

📄 arXiv: 2409.07746v1 📥 PDF

作者: Qingqiao Hu, Daoan Zhang, Jiebo Luo, Zhenyu Gong, Benedikt Wiestler, Jianguo Zhang, Hongwei Bran Li

分类: cs.CV

发布日期: 2024-09-12

备注: The code is available at https://github.com/WinstonHuTiger/mamba_mae

💡 一句话要点

提出基于状态空间模型的掩码自编码器，用于学习3D高分辨率脑肿瘤MR图像表征。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脑肿瘤 磁共振成像 状态空间模型 掩码自编码器 自监督学习 可解释性 基因分型

📋 核心要点

  1. 现有Vision Transformers处理3D高分辨率MR图像时，面临计算复杂性和可解释性挑战。
  2. 提出基于状态空间模型的掩码自编码器，通过潜在空间到空间映射增强表征可解释性。
  3. 在脑肿瘤基因分型任务上验证，达到SOTA精度，证明了效率和可解释性的潜力。

📝 摘要（中文）

从高维体积磁共振(MR)图像中学习有意义且可解释的表征对于推进个性化医疗至关重要。虽然Vision Transformers (ViTs)在处理图像数据方面显示出前景，但由于计算复杂性和可解释性，它们在3D多对比度MR图像中的应用面临挑战。为了解决这个问题，我们提出了一种新的基于状态空间模型(SSM)的掩码自编码器，它可以扩展ViT类模型，有效地处理高分辨率数据，同时增强学习表征的可解释性。我们提出了一种潜在空间到空间映射技术，可以在SSM的上下文中直接可视化潜在特征如何对应于输入体积中的特定区域。我们在两个关键的神经肿瘤学任务上验证了我们的方法：异柠檬酸脱氢酶突变状态的识别和1p/19q共缺失分类，实现了最先进的准确性。我们的结果突出了基于SSM的自监督学习通过结合效率和可解释性来改变放射组学分析的潜力。

🔬 方法详解

问题定义：论文旨在解决3D高分辨率MR图像的表征学习问题，特别是在脑肿瘤分析中。现有方法，如直接应用Vision Transformers (ViTs)，由于计算复杂度高，难以处理高分辨率的3D数据，并且学习到的表征缺乏可解释性，难以与肿瘤的特定区域建立联系。

核心思路：论文的核心思路是利用状态空间模型(SSM)来构建一个高效且可解释的掩码自编码器。SSM能够以较低的计算成本处理长序列数据，从而可以有效地处理高分辨率的3D MR图像。此外，论文提出了一种潜在空间到空间映射技术，将学习到的潜在特征与输入图像的特定区域关联起来，从而提高了表征的可解释性。

技术框架：整体框架是一个基于SSM的掩码自编码器。首先，输入3D MR图像被分割成patch，然后一部分patch被mask掉。编码器（基于SSM）将可见的patch编码成潜在表征。解码器（也是基于SSM）利用潜在表征重建原始图像。此外，论文还引入了一个潜在空间到空间映射模块，用于将潜在特征映射回原始图像空间，从而实现可视化和解释。

关键创新：最重要的技术创新点在于将状态空间模型(SSM)应用于3D高分辨率MR图像的表征学习，并结合掩码自编码器进行自监督学习。与传统的ViT相比，SSM具有更低的计算复杂度，更适合处理长序列数据。此外，潜在空间到空间映射技术是另一个关键创新，它显著提高了学习表征的可解释性。

关键设计：论文中，SSM的具体实现采用了Mamba架构。掩码比例设置为50%。损失函数主要包括重建损失（L1损失或L2损失）和潜在空间到空间映射的正则化项。潜在空间到空间映射模块采用了一个简单的线性层或卷积层。在实验中，作者探索了不同的SSM配置和映射模块设计，以找到最佳性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该方法在异柠檬酸脱氢酶(IDH)突变状态识别和1p/19q共缺失分类两个神经肿瘤学任务上取得了最先进的(SOTA)准确率。具体性能数据未知，但摘要强调了相对于现有方法的显著提升。实验结果表明，基于SSM的自监督学习能够有效地学习到有意义且可解释的脑肿瘤MR图像表征。

🎯 应用场景

该研究成果可应用于神经肿瘤学的多个方面，例如辅助医生进行脑肿瘤的诊断、分型和预后预测。通过学习可解释的图像表征，可以更好地理解肿瘤的生物学特性，从而为个性化治疗方案的制定提供依据。此外，该方法还可以推广到其他医学影像分析任务中，例如肺部CT图像分析、心脏MRI图像分析等。

📄 摘要（原文）

Learning meaningful and interpretable representations from high-dimensional volumetric magnetic resonance (MR) images is essential for advancing personalized medicine. While Vision Transformers (ViTs) have shown promise in handling image data, their application to 3D multi-contrast MR images faces challenges due to computational complexity and interpretability. To address this, we propose a novel state-space-model (SSM)-based masked autoencoder which scales ViT-like models to handle high-resolution data effectively while also enhancing the interpretability of learned representations. We propose a latent-to-spatial mapping technique that enables direct visualization of how latent features correspond to specific regions in the input volumes in the context of SSM. We validate our method on two key neuro-oncology tasks: identification of isocitrate dehydrogenase mutation status and 1p/19q co-deletion classification, achieving state-of-the-art accuracy. Our results highlight the potential of SSM-based self-supervised learning to transform radiomics analysis by combining efficiency and interpretability.