Global and Local Mamba Network for Multi-Modality Medical Image Super-Resolution
作者: Zexin Ji, Beiji Zou, Xiaoyan Kui, Sebastien Thureau, Su Ruan
分类: cs.CV
发布日期: 2025-04-14
💡 一句话要点
提出GLMamba网络，利用全局和局部Mamba模块提升多模态医学图像超分辨率效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多模态医学图像超分辨率 Mamba模型 全局局部网络 长程依赖 可变形卷积
📋 核心要点
- 现有方法在多模态医学图像超分辨率中，卷积神经网络感受野固定，Transformer计算负担大，限制了性能。
- GLMamba网络利用Mamba模型高效建模长程依赖，并设计全局和局部分支分别处理低分辨率输入和高分辨率参考图像。
- 通过可变形块、调制器和多模态特征融合块增强特征表示，并使用对比边缘损失提升边缘纹理和对比度。
📝 摘要（中文）
卷积神经网络和Transformer在多模态医学图像超分辨率方面取得了显著进展。然而，这些方法要么具有固定的感受野进行局部学习，要么在全局学习中存在显著的计算负担，从而限制了超分辨率性能。为了解决这个问题，本文引入了状态空间模型，特别是Mamba，以线性计算复杂度有效地建模图像中的长程依赖关系。基于Mamba以及低分辨率图像依赖全局信息来补偿缺失细节，而高分辨率参考图像需要提供更多局部细节以实现精确超分辨率这一事实，我们提出了一种用于多模态医学图像超分辨率的全局和局部Mamba网络（GLMamba）。具体而言，我们的GLMamba是一个双分支网络，配备了全局Mamba分支和局部Mamba分支。全局Mamba分支捕获低分辨率输入中的长程关系，而局部Mamba分支更侧重于高分辨率参考图像中的短程细节。我们还使用可变形块来自适应地提取两个分支的特征，以增强表示能力。设计了一个调制器，以进一步增强全局和局部Mamba块中的可变形特征。为了充分整合参考图像以进行低分辨率图像超分辨率，我们进一步开发了一种多模态特征融合块，通过考虑模态之间的相似性、差异和互补方面来自适应地融合特征。此外，还开发了一种对比边缘损失（CELoss），用于充分增强医学图像中的边缘纹理和对比度。
🔬 方法详解
问题定义：论文旨在解决多模态医学图像超分辨率问题。现有方法，如基于卷积神经网络的方法，感受野固定，难以捕捉长程依赖关系；而基于Transformer的方法，计算复杂度高，难以应用于高分辨率图像。这些局限性导致超分辨率性能受限，尤其是在医学图像细节恢复方面。
核心思路：论文的核心思路是利用Mamba模型的线性计算复杂度和长程依赖建模能力，设计一个双分支网络GLMamba。全局Mamba分支处理低分辨率输入，捕获全局信息以补偿缺失细节；局部Mamba分支处理高分辨率参考图像，提取局部细节以实现精确超分辨率。通过这种方式，兼顾了全局上下文和局部细节，提升超分辨率效果。
技术框架：GLMamba网络是一个双分支结构。包含以下主要模块： 1. 全局Mamba分支：处理低分辨率输入，利用Mamba模块建模长程依赖。 2. 局部Mamba分支：处理高分辨率参考图像，利用Mamba模块提取局部细节。 3. 可变形块：自适应地提取两个分支的特征，增强表示能力。 4. 调制器：进一步增强全局和局部Mamba块中的可变形特征。 5. 多模态特征融合块：自适应地融合不同模态的特征，考虑相似性、差异和互补性。 6. 对比边缘损失（CELoss）：增强医学图像中的边缘纹理和对比度。
关键创新：论文的关键创新在于将Mamba模型引入多模态医学图像超分辨率任务，并设计了全局和局部Mamba分支。与传统的卷积神经网络和Transformer相比，Mamba模型能够以线性计算复杂度建模长程依赖，更适合处理高分辨率图像。此外，可变形块和调制器的设计进一步增强了特征表示能力。
关键设计： 1. Mamba模块：采用选择性状态空间模型（Selective State Space Model, S6）的核心思想，通过输入相关的参数动态调整状态转移矩阵，从而实现对长程依赖的有效建模。 2. 可变形卷积：使用可变形卷积来自适应地调整感受野，更好地提取特征。 3. 对比边缘损失（CELoss）：通过对比真实图像和超分辨率图像的边缘信息，增强边缘纹理和对比度。CELoss的具体形式未知，需要查阅论文补充。
🖼️ 关键图片
📊 实验亮点
论文提出了GLMamba网络，并在多模态医学图像超分辨率任务上取得了显著的性能提升。具体的性能数据、对比基线和提升幅度在摘要中未提及，需要查阅论文正文获取详细的实验结果。但可以推断，GLMamba网络在边缘纹理和对比度方面有明显改善。
🎯 应用场景
该研究成果可应用于多种医学影像领域，例如CT、MRI等，提高图像分辨率，辅助医生进行更精确的诊断和治疗计划。通过提升医学影像质量，有助于减少误诊率，提高医疗效率，并为远程医疗提供更好的图像支持。未来，该技术有望推广到其他图像处理领域，如卫星图像、监控视频等。
📄 摘要（原文）
Convolutional neural networks and Transformer have made significant progresses in multi-modality medical image super-resolution. However, these methods either have a fixed receptive field for local learning or significant computational burdens for global learning, limiting the super-resolution performance. To solve this problem, State Space Models, notably Mamba, is introduced to efficiently model long-range dependencies in images with linear computational complexity. Relying on the Mamba and the fact that low-resolution images rely on global information to compensate for missing details, while high-resolution reference images need to provide more local details for accurate super-resolution, we propose a global and local Mamba network (GLMamba) for multi-modality medical image super-resolution. To be specific, our GLMamba is a two-branch network equipped with a global Mamba branch and a local Mamba branch. The global Mamba branch captures long-range relationships in low-resolution inputs, and the local Mamba branch focuses more on short-range details in high-resolution reference images. We also use the deform block to adaptively extract features of both branches to enhance the representation ability. A modulator is designed to further enhance deformable features in both global and local Mamba blocks. To fully integrate the reference image for low-resolution image super-resolution, we further develop a multi-modality feature fusion block to adaptively fuse features by considering similarities, differences, and complementary aspects between modalities. In addition, a contrastive edge loss (CELoss) is developed for sufficient enhancement of edge textures and contrast in medical images.