R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction

📄 arXiv: 2405.20693v2 📥 PDF

作者: Ruyi Zha, Tao Jun Lin, Yuanhao Cai, Jiwen Cao, Yanhao Zhang, Hongdong Li

分类: eess.IV, cs.CV

发布日期: 2024-05-31 (更新: 2024-10-27)

备注: Accepted to NeurIPS 2024. Project page: https://github.com/Ruyi-Zha/r2_gaussian

🔗 代码/项目: GITHUB

💡 一句话要点

提出R$^2$-Gaussian，用于加速和优化基于3DGS的稀疏视角断层重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 断层重建 X射线成像 稀疏视角 体积重建

📋 核心要点

  1. 传统3DGS在图像渲染和表面重建表现出色，但在X射线断层扫描等体积重建任务中的潜力尚未充分挖掘。
  2. R$^2$-Gaussian通过重构3D到2D高斯的投影，校正了标准3DGS公式中存在的积分偏差，提升体积重建精度。
  3. 实验结果表明，R$^2$-Gaussian在精度和效率上均优于现有方法，重建速度比NeRF快12倍。

📝 摘要（中文）

本文提出R$^2$-Gaussian，是首个基于3D高斯溅射（3DGS）的稀疏视角断层重建框架。通过仔细推导X射线光栅化函数，我们发现标准3DGS公式中存在先前未知的积分偏差，这阻碍了精确的体积检索。为了解决这个问题，我们提出了一种新颖的校正技术，通过重构从3D到2D高斯的投影来实现。我们的新方法提出了三个关键创新：（1）引入定制的高斯核，（2）将光栅化扩展到X射线成像，以及（3）开发基于CUDA的可微体素化器。在合成和真实世界数据集上的实验表明，我们的方法在准确性和效率方面优于最先进的方法。至关重要的是，它在4分钟内提供高质量的结果，这比基于NeRF的方法快12倍，并且与传统算法相当。代码和模型可在项目页面https://github.com/Ruyi-Zha/r2_gaussian上找到。

🔬 方法详解

问题定义：论文旨在解决稀疏视角断层重建问题，即如何从有限角度的X射线投影数据中准确重建三维体积。现有基于NeRF的方法计算成本高昂，而传统算法在处理复杂结构时精度有限。标准3DGS公式在X射线成像中存在积分偏差，导致重建质量下降。

核心思路：论文的核心思路是通过校正3DGS的投影过程来消除积分偏差。具体来说，通过重构从3D到2D高斯的投影，引入定制的高斯核，使得X射线光栅化过程更加准确，从而提升体积重建的精度。

技术框架：R$^2$-Gaussian框架主要包含三个关键模块：定制高斯核的设计、X射线光栅化扩展以及基于CUDA的可微体素化器。首先，针对X射线成像的特点，设计了特定的高斯核函数。然后，将传统的光栅化方法扩展到X射线成像领域，实现对X射线投影数据的处理。最后，利用CUDA加速可微体素化过程，实现高效的体积重建。

关键创新：该方法最重要的创新点在于发现了标准3DGS公式在X射线成像中存在的积分偏差，并提出了相应的校正技术。通过重构投影过程，使得3DGS能够更好地适应断层重建任务，从而在精度和效率上都优于现有方法。

关键设计：关键设计包括定制高斯核的参数选择、X射线光栅化函数的具体形式以及CUDA体素化器的优化策略。损失函数的设计也至关重要，需要平衡重建精度和噪声抑制。具体的网络结构和参数设置在论文中详细描述。

📊 实验亮点

实验结果表明，R$^2$-Gaussian在合成和真实数据集上均取得了优异的性能。在重建精度方面，该方法优于现有的NeRF和传统算法。在重建效率方面，R$^2$-Gaussian仅需4分钟即可完成重建，比基于NeRF的方法快12倍，与传统算法相当。这些结果充分证明了R$^2$-Gaussian在稀疏视角断层重建方面的优势。

🎯 应用场景

R$^2$-Gaussian在医学影像、工业无损检测等领域具有广泛的应用前景。例如，在医学领域，可以利用该方法从少量X射线投影数据中重建出高质量的CT图像，从而降低患者的辐射暴露。在工业领域，可以用于检测产品内部的缺陷，提高产品质量和安全性。该研究有望推动断层重建技术的发展，为相关领域带来实际价值。

📄 摘要（原文）

3D Gaussian splatting (3DGS) has shown promising results in image rendering and surface reconstruction. However, its potential in volumetric reconstruction tasks, such as X-ray computed tomography, remains under-explored. This paper introduces R$^2$-Gaussian, the first 3DGS-based framework for sparse-view tomographic reconstruction. By carefully deriving X-ray rasterization functions, we discover a previously unknown integration bias in the standard 3DGS formulation, which hampers accurate volume retrieval. To address this issue, we propose a novel rectification technique via refactoring the projection from 3D to 2D Gaussians. Our new method presents three key innovations: (1) introducing tailored Gaussian kernels, (2) extending rasterization to X-ray imaging, and (3) developing a CUDA-based differentiable voxelizer. Experiments on synthetic and real-world datasets demonstrate that our method outperforms state-of-the-art approaches in accuracy and efficiency. Crucially, it delivers high-quality results in 4 minutes, which is 12$\times$ faster than NeRF-based methods and on par with traditional algorithms. Code and models are available on the project page https://github.com/Ruyi-Zha/r2_gaussian.