Zero-shot Volumetric CT Super-Resolution using 3D Gaussian Splatting with Upsampled 2D X-ray Projection Priors

📄 arXiv: 2508.15151v1 📥 PDF

作者: Jeonghyun Noh, Hyun-Jic Oh, Byungju Chae, Won-Ki Jeong

分类: eess.IV, cs.CV

发布日期: 2025-08-21

💡 一句话要点

提出基于3D高斯溅射和X射线先验的零样本CT超分辨率方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: CT超分辨率 零样本学习 3D高斯溅射 扩散模型 X射线投影 医学影像 负Alpha混合

📋 核心要点

  1. 现有CT超分辨率方法依赖大量配对数据，而零样本方法难以恢复精细结构。
  2. 利用大量易获取的高分辨率2D X射线数据，训练扩散模型生成高质量投影先验。
  3. 提出的负Alpha混合（NAB-GS）允许负密度值，增强了高频细节的重建效果。

📝 摘要（中文）

本文提出了一种新颖的零样本3D CT超分辨率框架，该框架利用由扩散模型生成的上采样2D X射线投影先验。利用大量高分辨率2D X射线数据，我们在大规模2D X射线投影上训练扩散模型，并引入了一种逐投影自适应采样策略，为每个投影选择生成过程，从而提供高分辨率投影作为3D CT重建的强外部先验。这些投影作为3D高斯溅射的输入，用于重建3D CT体数据。此外，我们提出了负Alpha混合（NAB-GS），允许高斯密度表示中存在负值，从而实现低分辨率和基于扩散的投影之间的残差学习，增强高频结构的重建。在两个数据集上的实验表明，我们的方法在3D CT超分辨率方面取得了优越的定量和定性结果。

🔬 方法详解

问题定义：CT成像在临床诊断中应用广泛，但获取高分辨率CT图像会增加辐射暴露风险。现有的基于深度学习的超分辨率方法需要大量的配对低分辨率-高分辨率CT数据，而这些数据通常难以获取。零样本方法虽然不需要配对数据，但由于内部信息有限，难以恢复精细的解剖细节。

核心思路：本文的核心思路是利用易于获取的大量高分辨率2D X射线投影数据，训练一个扩散模型，生成高质量的2D X射线投影作为3D CT重建的外部先验。通过将这些高分辨率投影融入到3D高斯溅射重建过程中，可以有效地提升CT图像的超分辨率效果。

技术框架：该框架主要包含以下几个模块：1) 2D X射线投影扩散模型训练：利用大规模2D X射线数据训练扩散模型，使其能够生成高分辨率的X射线投影。2) 逐投影自适应采样：针对每个投影，自适应地选择扩散模型的生成过程，以获得最佳的先验信息。3) 3D高斯溅射重建：将生成的X射线投影作为先验信息，输入到3D高斯溅射模型中，重建出高分辨率的3D CT体数据。4) 负Alpha混合（NAB-GS）：允许高斯密度表示中存在负值，从而实现残差学习，增强高频结构重建。

关键创新：该方法最重要的创新点在于利用了2D X射线投影作为3D CT重建的外部先验。与传统的零样本方法相比，该方法引入了外部信息，从而能够更好地恢复CT图像的精细结构。此外，提出的负Alpha混合（NAB-GS）也是一个重要的创新，它允许高斯密度表示中存在负值，从而能够更好地学习低分辨率和高分辨率投影之间的残差。

关键设计：扩散模型采用标准的U-Net结构，损失函数为L2损失。自适应采样策略根据投影的质量动态调整扩散模型的采样步数。NAB-GS通过修改高斯溅射的渲染过程，允许负的alpha值，从而实现残差学习。具体来说，alpha值被限制在[-1, 1]范围内，并相应地调整颜色值的计算方式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在两个数据集上均取得了优于现有零样本方法的性能。定量指标方面，PSNR和SSIM等指标均有显著提升。定性方面，重建的CT图像具有更清晰的边缘和更丰富的细节，能够更好地显示解剖结构。

🎯 应用场景

该研究成果可应用于临床CT成像，在降低辐射剂量的同时，获得高质量的CT图像，从而减少患者的健康风险。此外，该方法还可以应用于其他医学影像领域，例如MRI超分辨率重建等，具有广泛的应用前景和重要的临床价值。

📄 摘要（原文）

Computed tomography (CT) is widely used in clinical diagnosis, but acquiring high-resolution (HR) CT is limited by radiation exposure risks. Deep learning-based super-resolution (SR) methods have been studied to reconstruct HR from low-resolution (LR) inputs. While supervised SR approaches have shown promising results, they require large-scale paired LR-HR volume datasets that are often unavailable. In contrast, zero-shot methods alleviate the need for paired data by using only a single LR input, but typically struggle to recover fine anatomical details due to limited internal information. To overcome these, we propose a novel zero-shot 3D CT SR framework that leverages upsampled 2D X-ray projection priors generated by a diffusion model. Exploiting the abundance of HR 2D X-ray data, we train a diffusion model on large-scale 2D X-ray projection and introduce a per-projection adaptive sampling strategy. It selects the generative process for each projection, thus providing HR projections as strong external priors for 3D CT reconstruction. These projections serve as inputs to 3D Gaussian splatting for reconstructing a 3D CT volume. Furthermore, we propose negative alpha blending (NAB-GS) that allows negative values in Gaussian density representation. NAB-GS enables residual learning between LR and diffusion-based projections, thereby enhancing high-frequency structure reconstruction. Experiments on two datasets show that our method achieves superior quantitative and qualitative results for 3D CT SR.