RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis

📄 arXiv: 2408.03356v2 📥 PDF

作者: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic

分类: cs.CV, cs.GR

发布日期: 2024-08-06 (更新: 2025-02-04)

备注: Project page with videos and code: https://raygauss.github.io/

💡 一句话要点

RayGauss：基于体素高斯的射线投射，实现逼真的新视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 体素高斯 可微渲染 射线投射 辐射场

📋 核心要点

  1. 现有新视角合成方法在速度和质量上存在trade-off，基于NeRF的方法渲染质量高但速度慢，基于splatting的方法速度快但易产生伪影。
  2. RayGauss的核心思想是使用体素高斯函数表示辐射场，并提出一种可微射线投射方法，以实现高质量和高效率的渲染。
  3. 实验结果表明，RayGauss在渲染质量上优于现有技术，同时保持了合理的训练时间，并在Blender数据集上实现了25 FPS的推理速度。

📝 摘要（中文）

基于可微体渲染的方法在新视角合成方面取得了显著进展。一方面，一些创新方法用局部参数化结构取代了神经辐射场（NeRF）网络，从而在合理的时间内实现高质量的渲染。另一方面，一些方法使用可微溅射代替NeRF的射线投射，利用高斯核快速优化辐射场，从而能够精细地适应场景。然而，对不规则分布核的可微射线投射的探索还很少，而溅射虽然能够实现快速渲染，但容易出现明显的伪影。本文通过提供发射辐射c和密度σ的物理一致性公式来填补这一空白，该公式使用与球面高斯/谐波相关联的高斯函数进行分解，以实现全频率比色表示。我们还引入了一种方法，该方法使用逐层积分辐射场的算法并利用BVH结构，从而实现不规则分布高斯的可微射线投射。这使得我们的方法能够精细地适应场景，同时避免溅射伪影。因此，与最先进的方法相比，我们实现了卓越的渲染质量，同时保持了合理的训练时间，并在Blender数据集上实现了25 FPS的推理速度。项目页面包含视频和代码：https://raygauss.github.io/

🔬 方法详解

问题定义：现有新视角合成方法，如NeRF，虽然能生成高质量的图像，但渲染速度慢。而基于splatting的方法虽然速度快，但容易产生伪影，无法保证渲染质量。因此，如何在保证渲染质量的前提下，提高渲染速度，是一个亟待解决的问题。

核心思路：RayGauss的核心思路是使用体素高斯函数来表示场景的辐射场，并提出一种可微的射线投射方法。通过将辐射场分解为一系列高斯函数，可以更有效地表示场景的几何和外观信息。同时，可微射线投射方法可以避免splatting方法中常见的伪影，从而提高渲染质量。

技术框架：RayGauss的整体框架包括以下几个主要模块：1) 使用高斯函数表示辐射场；2) 使用球面高斯/谐波进行全频率比色表示；3) 提出一种基于BVH结构的可微射线投射算法，用于积分辐射场；4) 通过优化高斯函数的参数，实现新视角的图像合成。

关键创新：RayGauss的关键创新在于提出了一种基于体素高斯函数的可微射线投射方法。与现有的基于NeRF的方法相比，RayGauss使用高斯函数来表示辐射场，从而可以更有效地表示场景的几何和外观信息。与现有的基于splatting的方法相比，RayGauss使用可微射线投射方法，避免了splatting方法中常见的伪影。

关键设计：RayGauss的关键设计包括：1) 使用球面高斯/谐波进行全频率比色表示，从而可以更好地表示场景的颜色信息；2) 提出一种基于BVH结构的可微射线投射算法，用于加速射线投射过程；3) 使用一种逐层积分的策略，用于计算射线上的辐射值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RayGauss在Blender数据集上实现了25 FPS的推理速度，并且在渲染质量上优于现有技术。实验结果表明，RayGauss能够生成高质量的新视角图像，同时保持了合理的训练时间和推理速度。与现有方法相比，RayGauss在渲染质量和效率上都取得了显著的提升。

🎯 应用场景

RayGauss具有广泛的应用前景，包括虚拟现实、增强现实、游戏开发、机器人导航等领域。它可以用于生成逼真的虚拟场景，提高用户体验。此外，RayGauss还可以用于机器人导航，帮助机器人更好地理解周围环境。

📄 摘要（原文）

Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density σ, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/