Discretized Gaussian Representation for Tomographic Reconstruction

📄 arXiv: 2411.04844v4 📥 PDF

作者: Shaokai Wu, Yuxiang Lu, Yapan Guo, Wei Ji, Suizhi Huang, Fengyu Yang, Shalayiding Sirejiding, Qichen He, Jing Tong, Yanbiao Ji, Yue Ding, Hongtao Lu

分类: eess.IV, cs.CV

发布日期: 2024-11-07 (更新: 2025-10-22)

备注: Accepted to ICCV 2025

期刊: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025, pp. 25073 - 25082

🔗 代码/项目: GITHUB

💡 一句话要点

提出离散高斯表示(DGR)用于高效高质量的CT断层重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 断层重建 离散高斯表示 医学影像 工业无损检测 三维重建

📋 核心要点

  1. 传统CT重建方法在质量和效率间存在瓶颈，深度学习方法虽提升质量但依赖大数据和高算力。
  2. DGR通过离散高斯函数直接重建3D体积，无需大量训练数据，并采用端到端方式优化。
  3. 实验表明，DGR在重建质量和运行时间上优于现有方法，适用于多种CT重建场景。

📝 摘要（中文）

计算机断层扫描(CT)能够提供详细的横截面成像，但如何在重建质量和计算效率之间取得平衡仍然面临挑战。虽然基于深度学习的方法显著提高了图像质量和噪声降低，但它们通常需要大规模的训练数据和大量的计算资源。神经辐射场和3D高斯溅射等场景重建的最新进展提供了替代视角，但不太适合直接进行体积CT重建。本文提出了一种新的框架——离散高斯表示(DGR)，它以端到端的方式使用一组离散的高斯函数直接重建3D体积。为了进一步提高效率，我们引入了快速体积重建技术，这是一种高度并行化的技术，以最小的开销将高斯贡献聚合到体素网格中。在真实和合成数据集上的大量实验表明，DGR在各种CT重建场景中实现了卓越的重建质量和运行时间性能。我们的代码已在https://github.com/wskingdom/DGR上公开。

🔬 方法详解

问题定义：CT断层重建旨在从投影数据中恢复3D体积图像。传统方法如滤波反投影（FBP）速度快但易受噪声影响，迭代重建算法精度高但计算成本高昂。深度学习方法虽然能提升重建质量，但需要大量的训练数据，且泛化能力可能受限。因此，如何在保证重建质量的同时，提高计算效率，降低对大量训练数据的依赖，是CT重建领域面临的关键问题。

核心思路：DGR的核心思路是使用一组离散的高斯函数来表示3D体积。每个高斯函数都具有位置、尺度和不透明度等参数，这些参数可以通过优化来拟合投影数据。与直接重建体素网格相比，高斯函数具有平滑性和可微性，更易于优化。此外，通过离散化高斯函数，可以实现高效的并行计算，从而加速重建过程。

技术框架：DGR框架主要包含两个阶段：初始化和优化。在初始化阶段，首先在3D空间中随机初始化一组高斯函数。然后，通过前向投影将这些高斯函数投影到投影平面上，得到模拟的投影数据。在优化阶段，计算模拟投影数据与真实投影数据之间的差异，并使用梯度下降法更新高斯函数的参数。通过迭代优化，高斯函数逐渐拟合真实的3D体积。为了提高效率，论文提出了快速体积重建技术，该技术利用GPU的并行计算能力，高效地将高斯函数的贡献聚合到体素网格中。

关键创新：DGR的关键创新在于使用离散高斯函数来表示3D体积，并提出了一种高效的并行计算方法。与传统的体素表示相比，高斯函数具有平滑性和可微性，更易于优化。与神经辐射场等方法相比，DGR不需要复杂的神经网络结构，可以直接从投影数据中重建3D体积。此外，快速体积重建技术显著提高了计算效率，使得DGR能够应用于大规模的CT重建问题。

关键设计：DGR的关键设计包括：1) 高斯函数的参数化：每个高斯函数由位置、尺度、旋转和不透明度等参数表示。2) 前向投影模型：使用射线投影模型将高斯函数投影到投影平面上。3) 损失函数：使用投影数据之间的均方误差作为损失函数。4) 优化算法：使用Adam优化器更新高斯函数的参数。5) 快速体积重建：利用CUDA实现高效的并行计算，将高斯函数的贡献聚合到体素网格中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DGR在重建质量和运行时间上均优于现有方法。在合成数据集上，DGR的PSNR和SSIM指标分别提高了2-3dB和0.02-0.03。在真实数据集上，DGR也取得了类似的性能提升。此外，DGR的运行时间比传统方法快数倍，使其能够应用于大规模的CT重建问题。

🎯 应用场景

DGR在医学影像、工业无损检测等领域具有广泛的应用前景。在医学影像方面，DGR可以用于重建高质量的CT图像，辅助医生进行疾病诊断。在工业无损检测方面，DGR可以用于检测产品内部的缺陷，提高产品质量。此外，DGR还可以应用于三维重建、虚拟现实等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Computed Tomography (CT) enables detailed cross-sectional imaging but continues to face challenges in balancing reconstruction quality and computational efficiency. While deep learning-based methods have significantly improved image quality and noise reduction, they typically require large-scale training data and intensive computation. Recent advances in scene reconstruction, such as Neural Radiance Fields and 3D Gaussian Splatting, offer alternative perspectives but are not well-suited for direct volumetric CT reconstruction. In this work, we propose Discretized Gaussian Representation (DGR), a novel framework that reconstructs the 3D volume directly using a set of discretized Gaussian functions in an end-to-end manner. To further enhance efficiency, we introduce Fast Volume Reconstruction, a highly parallelized technique that aggregates Gaussian contributions into the voxel grid with minimal overhead. Extensive experiments on both real-world and synthetic datasets demonstrate that DGR achieves superior reconstruction quality and runtime performance across various CT reconstruction scenarios. Our code is publicly available at https://github.com/wskingdom/DGR.