LoG-VMamba: Local-Global Vision Mamba for Medical Image Segmentation

📄 arXiv: 2408.14415v1 📥 PDF

作者: Trung Dinh Quoc Dang, Huy Hoang Nguyen, Aleksei Tiulpin

分类: cs.CV, cs.LG

发布日期: 2024-08-26

备注: 20 pages

🔗 代码/项目: GITHUB

💡 一句话要点

LoG-VMamba：用于医学图像分割的局部-全局视觉Mamba模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医学图像分割 Vision Mamba 状态空间模型 局部-全局信息融合 深度学习

📋 核心要点

  1. 现有Vision Mamba模型难以在高维医学图像中同时捕捉局部和全局依赖关系，限制了其分割性能。
  2. LoG-VMamba通过在通道轴上保持空间相邻tokens的邻近性，并压缩全局上下文，从而实现局部和全局信息的有效融合。
  3. 实验表明，LoG-VMamba在多种2D和3D医学图像分割任务中，显著优于CNN和Transformer基线模型，且计算效率更高。

📝 摘要（中文）

本文提出了一种名为LoG-VMamba（Local-Global Vision Mamba）的局部-全局视觉Mamba模型，用于医学图像分割（MIS）。该模型旨在解决现有Vision Mamba (VM)模型在高维数组中难以同时维持空间局部和全局依赖性的问题。LoG-VMamba通过显式地强制空间相邻的tokens在通道轴上保持邻近，并以压缩形式保留全局上下文，使得SSM能够在仅需简单扫描策略的情况下访问局部和全局上下文。实验结果表明，该模型在多种2D和3D医学图像分割任务中，计算效率高，且显著优于基于CNN和Transformer的基线模型。

🔬 方法详解

问题定义：医学图像分割任务需要同时捕捉图像的局部细节和全局上下文信息。现有的Vision Mamba模型虽然具有全局感受野和线性复杂度，但在处理高维医学图像时，难以有效地维护空间局部和全局依赖关系，导致分割精度受限。复杂的扫描策略虽然可以改善，但计算成本过高，不适用于大规模的2D/3D医学图像。

核心思路：LoG-VMamba的核心思路是通过显式地将空间上相邻的tokens在通道维度上保持邻近，从而使SSM能够更容易地访问局部信息。同时，模型通过某种压缩机制保留全局上下文信息，使得SSM在处理每个token时都能感知全局信息。这种设计旨在克服传统VM模型在处理高维图像时局部和全局信息难以兼顾的缺点。

技术框架：LoG-VMamba的整体框架基于Vision Mamba架构，但引入了局部-全局信息融合模块。该模块首先将输入图像划分为tokens，然后通过某种方式（具体细节未知）将空间相邻的tokens在通道维度上进行重排，使得它们在后续的SSM处理中保持邻近。同时，该模块还负责提取并压缩全局上下文信息，并将其传递给SSM层。最后，SSM层利用局部和全局信息进行特征提取，用于最终的分割任务。

关键创新：LoG-VMamba的关键创新在于其局部-全局信息融合策略，它显式地将空间局部信息编码到通道维度，并结合压缩的全局上下文信息，使得SSM能够同时感知局部和全局信息。这种策略避免了复杂的扫描策略，提高了计算效率，并且更有效地利用了医学图像中的空间信息。

关键设计：论文中没有详细描述局部-全局信息融合模块的具体实现细节，例如如何进行通道重排，如何压缩全局上下文信息。这些细节是实现LoG-VMamba的关键，但目前未知。损失函数和网络结构等其他技术细节也未在摘要中提及，需要参考完整论文才能了解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LoG-VMamba在多种2D和3D医学图像分割任务中均取得了显著的性能提升，优于基于CNN和Transformer的基线模型。具体的性能数据和提升幅度需要在完整论文中查看。该模型在保持较高分割精度的同时，还具有较高的计算效率，使其更适用于处理大规模医学图像数据。

🎯 应用场景

LoG-VMamba在医学图像分割领域具有广泛的应用前景，例如肿瘤分割、器官分割、病灶检测等。该模型能够提高分割精度和效率，有助于医生进行更准确的诊断和治疗计划制定。未来，该模型可以进一步应用于计算机辅助诊断、手术导航等领域，提升医疗智能化水平。

📄 摘要（原文）

Mamba, a State Space Model (SSM), has recently shown competitive performance to Convolutional Neural Networks (CNNs) and Transformers in Natural Language Processing and general sequence modeling. Various attempts have been made to adapt Mamba to Computer Vision tasks, including medical image segmentation (MIS). Vision Mamba (VM)-based networks are particularly attractive due to their ability to achieve global receptive fields, similar to Vision Transformers, while also maintaining linear complexity in the number of tokens. However, the existing VM models still struggle to maintain both spatially local and global dependencies of tokens in high dimensional arrays due to their sequential nature. Employing multiple and/or complicated scanning strategies is computationally costly, which hinders applications of SSMs to high-dimensional 2D and 3D images that are common in MIS problems. In this work, we propose Local-Global Vision Mamba, LoG-VMamba, that explicitly enforces spatially adjacent tokens to remain nearby on the channel axis, and retains the global context in a compressed form. Our method allows the SSMs to access the local and global contexts even before reaching the last token while requiring only a simple scanning strategy. Our segmentation models are computationally efficient and substantially outperform both CNN and Transformers-based baselines on a diverse set of 2D and 3D MIS tasks. The implementation of LoG-VMamba is available at \url{https://github.com/Oulu-IMEDS/LoG-VMamba}.