Residual Gaussian Splatting for Ultra Sparse-View CBCT Reconstruction

📄 arXiv: 2604.27552v1 📥 PDF

作者: Jian Lin, Jiancheng Fang, Shaoyu Wang, Changan Lai, Yikun Zhang, Yang Chen, Qiegen Liu

分类: cs.CV

发布日期: 2026-04-30

💡 一句话要点

提出残差高斯溅射(RGS)用于超稀疏视角CBCT重建，提升细节保真度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 锥束CT重建 三维高斯溅射 残差学习 小波变换 稀疏视角重建 医学影像 神经渲染

📋 核心要点

  1. 传统3DGS在超稀疏视角CBCT重建中易过度平滑，丢失高频细节，无法很好地平衡伪影抑制和细节保留。
  2. 提出残差高斯溅射(RGS)，将体场分解为几何基础分量和残差细节分量，实现频谱解耦，进行残差补偿。
  3. 实验表明，RGS在临床数据集上重建的图像能捕获精细几何纹理，在骨小梁和血管结构中优于现有方法。

📝 摘要（中文）

三维高斯溅射(3DGS)为锥束计算机断层扫描重建提供了显式且高效的场景表示，但传统的光度优化在超稀疏视角条件下存在固有的频谱偏差，导致过度平滑和高频解剖细节的丢失。由于小波变换提供了丰富的高频信息，并已被广泛用于增强稀疏重建，因此本文将小波多分辨率分析与3DGS相结合。为了规避物理X射线衰减的严格非负性与高频小波系数的双极性之间的数学不匹配，我们提出了残差高斯溅射(RGS)。在方法上，我们引入了一种频谱解耦的高斯表示，将体场分层为几何基础分量和残差细节分量。这种分解系统地将显式高频拟合转换为物理一致的隐式残差补偿任务。此外，我们设计了一种频谱-空间协同优化策略，以协调几何锚定和纹理细化之间的相互作用，有效防止频谱串扰。在临床数据集上的大量实验表明，RGS使重建图像能够捕获高度精细的几何纹理。它成功地解决了伪影抑制和细节保留之间的权衡，与现有的神经渲染基线相比，在复杂的骨小梁和血管结构中产生了卓越的视觉保真度。

🔬 方法详解

问题定义：在锥束计算机断层扫描(CBCT)重建中，尤其是在超稀疏视角条件下，如何利用3D高斯溅射(3DGS)重建出高保真度的图像，同时抑制伪影并保留高频细节，是本文要解决的核心问题。现有的基于光度优化的3DGS方法在稀疏视角下容易出现频谱偏差，导致重建结果过度平滑，丢失重要的解剖细节，无法满足临床需求。

核心思路：本文的核心思路是将体场分解为几何基础分量和残差细节分量，通过频谱解耦的方式，将高频细节的拟合转化为残差补偿任务。利用小波变换提供的高频信息，并结合物理X射线衰减的非负性约束，设计残差高斯溅射(RGS)方法，从而在稀疏视角下实现更准确的重建。这种分解和补偿的思路，旨在解决传统方法中频谱偏差导致的细节丢失问题。

技术框架：RGS方法主要包含以下几个关键模块：1) 频谱解耦的高斯表示：将体场分解为几何基础分量和残差细节分量。2) 小波多分辨率分析：利用小波变换提取高频信息，用于残差补偿。3) 频谱-空间协同优化：协调几何锚定和纹理细化之间的相互作用，防止频谱串扰。整体流程是，首先对输入图像进行预处理，然后初始化高斯参数，接着进行频谱解耦，利用小波变换进行残差估计，最后通过频谱-空间协同优化策略更新高斯参数，迭代优化直至收敛。

关键创新：RGS方法的最重要的技术创新点在于频谱解耦的高斯表示和残差补偿机制。通过将体场分解为几何基础分量和残差细节分量，实现了对高频信息的显式建模，并将其转化为一个物理一致的隐式残差补偿任务。与现有方法的本质区别在于，RGS避免了直接拟合高频信息，而是通过残差补偿的方式来恢复细节，从而减轻了频谱偏差的影响。

关键设计：在频谱解耦方面，采用了小波变换来提取高频信息，并设计了相应的损失函数来约束残差分量。在频谱-空间协同优化方面，设计了一种自适应的权重策略，用于平衡几何锚定和纹理细化之间的关系。具体的损失函数包括光度损失、正则化损失和残差损失等，用于约束高斯参数的更新。此外，还采用了学习率衰减等优化技巧，以提高训练的稳定性和收敛速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RGS方法在临床数据集上能够重建出高度精细的几何纹理，尤其是在复杂的骨小梁和血管结构中，视觉效果明显优于现有的神经渲染基线方法。RGS成功地解决了伪影抑制和细节保留之间的权衡，在定量指标上也取得了显著提升，例如在结构相似性(SSIM)和峰值信噪比(PSNR)等指标上均优于对比方法。

🎯 应用场景

该研究成果可应用于医学影像领域，尤其是在锥束计算机断层扫描(CBCT)重建中，能够提高重建图像的质量和细节保真度。这对于临床诊断和治疗具有重要意义，例如在牙科、骨科等领域，可以提供更清晰的解剖结构信息，辅助医生进行更准确的判断和决策。未来，该技术有望推广到其他稀疏视角重建场景，例如工业无损检测等。

📄 摘要（原文）

While 3D Gaussian splatting (3DGS) offers explicit and efficient scene representations for cone-beam computed tomography reconstruction, conventional photometric optimization inherently suffers from spectral bias under ultra sparse-view conditions, leading to over-smoothing and a loss of high-frequency anatomical details. Since wavelet transforms provide rich high-frequency information and have been widely utilized to enhance sparse reconstruction, this work integrates wavelet multi-resolution analysis with 3DGS. To circumvent the mathematical mismatch between the strict non-negativity of physical X-ray attenuation and the bipolar nature of high-frequency wavelet coefficients, we propose Residual Gaussian Splatting (RGS). Methodologically, we introduce a spectrally-decoupled Gaussian representation that stratifies the volumetric field into a geometric base component and a residual detail component. This decomposition systematically transforms explicit high-frequency fitting into a physically consistent, implicit residual compensation task. Furthermore, we devise a spectral-spatial collaborative optimization strategy to coordinate the interplay between geometric anchoring and texture refinement, effectively preventing spectral crosstalk. Extensive experiments on clinical datasets demonstrate that RGS enables the reconstructed images to capture highly refined geometric textures. It successfully resolves the trade-off between artifact suppression and detail preservation, yielding superior visual fidelity in complex trabecular and vascular structures compared to existing neural rendering baselines.