GLFC: Unified Global-Local Feature and Contrast Learning with Mamba-Enhanced UNet for Synthetic CT Generation from CBCT

📄 arXiv: 2501.02992v2 📥 PDF

作者: Xianhao Zhou, Jianghao Wu, Huangxuan Zhao, Lei Chen, Shaoting Zhang, Guotai Wang

分类: eess.IV, cs.AI, cs.CV

发布日期: 2025-01-06 (更新: 2025-01-11)

备注: Accepted by ISBI2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于Mamba增强UNet的全局-局部特征与对比学习框架GLFC，用于CBCT生成高质量合成CT

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 合成CT生成 锥束CT Mamba UNet 全局-局部特征学习 对比学习 医学影像

📋 核心要点

  1. 现有sCT生成方法难以有效捕获全局和局部特征及对比度，限制了sCT图像质量的提升。
  2. 提出GLFC框架，核心在于Mamba增强UNet和多重对比损失，分别提升特征提取和对比度学习能力。
  3. 实验结果表明，GLFC在SSIM指标上显著优于现有方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种全局-局部特征与对比学习(GLFC)框架，用于从锥束CT(CBCT)生成合成CT(sCT)图像，旨在提高CBCT的图像质量。现有的基于卷积神经网络(CNN)和Transformer的sCT生成方法通常难以有效地捕获全局和局部特征以及对比度，从而影响高质量sCT的生成。该框架引入了Mamba增强UNet(MEUNet)，通过将Mamba块集成到高分辨率UNet的跳跃连接中，实现有效的全局和局部特征学习。此外，还提出了一种多重对比损失(MCL)，在不同的强度窗口计算合成损失，以提高软组织和骨骼区域的质量。在SynthRAD2023数据集上的实验表明，与原始CBCT相比，GLFC将sCT的SSIM从77.91%提高到91.50%，并且显著优于几种现有的sCT生成方法。代码已开源。

🔬 方法详解

问题定义：论文旨在解决从CBCT生成高质量合成CT(sCT)图像的问题。现有基于CNN和Transformer的方法在同时捕获全局和局部特征以及不同组织结构的对比度方面存在不足，导致生成的sCT图像质量不高，难以满足临床需求。

核心思路：论文的核心思路是利用Mamba架构的全局建模能力和UNet的局部特征提取能力，构建一个能够有效提取全局-局部特征的sCT生成模型。同时，通过多重对比损失函数，增强模型对不同组织结构对比度的学习能力，从而提高sCT图像的整体质量。

技术框架：GLFC框架主要包含两个核心模块：Mamba增强UNet(MEUNet)和多重对比损失(MCL)。MEUNet是基于UNet的架构，但在跳跃连接中集成了Mamba块，用于增强全局信息的传递和融合。MCL则是在多个强度窗口上计算sCT图像与真实CT图像之间的损失，从而提高模型对不同组织结构对比度的学习能力。

关键创新：论文的关键创新在于将Mamba架构引入到sCT生成任务中，并结合UNet的局部特征提取能力，构建了一个能够有效提取全局-局部特征的MEUNet。此外，提出的MCL能够有效提高模型对不同组织结构对比度的学习能力，从而提高sCT图像的整体质量。

关键设计：MEUNet的关键设计是将Mamba块集成到UNet的跳跃连接中，从而增强全局信息的传递和融合。MCL的关键设计是在多个强度窗口上计算L1损失，每个窗口对应不同的组织结构，例如骨骼、软组织等。具体而言，论文使用了三个强度窗口，分别对应骨骼、软组织和整体图像。损失函数是三个窗口L1损失的加权和。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GLFC框架在SynthRAD2023数据集上取得了显著的性能提升。与原始CBCT相比，GLFC将sCT的SSIM从77.91%提高到91.50%。此外，GLFC还显著优于几种现有的sCT生成方法，证明了其在sCT生成任务中的有效性。这些结果表明，GLFC能够生成更高质量的sCT图像，具有重要的临床应用价值。

🎯 应用场景

该研究成果可应用于医学影像领域，通过CBCT生成高质量的合成CT图像，提高CBCT的图像质量，减少伪影，从而辅助医生进行更准确的诊断和治疗计划。此外，该技术还可以减少患者接受CT扫描的次数，降低辐射暴露风险，具有重要的临床应用价值和潜力。

📄 摘要（原文）

Generating synthetic Computed Tomography (CT) images from Cone Beam Computed Tomography (CBCT) is desirable for improving the image quality of CBCT. Existing synthetic CT (sCT) generation methods using Convolutional Neural Networks (CNN) and Transformers often face difficulties in effectively capturing both global and local features and contrasts for high-quality sCT generation. In this work, we propose a Global-Local Feature and Contrast learning (GLFC) framework for sCT generation. First, a Mamba-Enhanced UNet (MEUNet) is introduced by integrating Mamba blocks into the skip connections of a high-resolution UNet for effective global and local feature learning. Second, we propose a Multiple Contrast Loss (MCL) that calculates synthetic loss at different intensity windows to improve quality for both soft tissues and bone regions. Experiments on the SynthRAD2023 dataset demonstrate that GLFC improved the SSIM of sCT from 77.91% to 91.50% compared with the original CBCT, and significantly outperformed several existing methods for sCT generation. The code is available at https://github.com/HiLab-git/GLFC