Phys3DGS: Physically-based 3D Gaussian Splatting for Inverse Rendering

📄 arXiv: 2409.10335v1 📥 PDF

作者: Euntae Choi, Sungjoo Yoo

分类: cs.GR, cs.CV

发布日期: 2024-09-16

备注: Under review

💡 一句话要点

Phys3DGS：基于物理的3D高斯溅射逆渲染，提升光照重构质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 逆渲染 延迟渲染 网格表示 光照重构

📋 核心要点

  1. 现有基于3DGS的逆渲染方法受隐藏高斯的影响，导致渲染质量下降，尤其是在光照重构任务中。
  2. 提出采用延迟渲染解决隐藏高斯问题，并引入混合网格-3DGS表示和正则化方法，优化延迟渲染下的逆渲染质量。
  3. 实验结果表明，该方法在光照重构方面显著优于现有3DGS方法，且在渲染质量上优于体素网格方法，同时保持实时性。

📝 摘要（中文）

本文提出了两种新颖的思路（采用延迟渲染和基于网格的表示）来提高基于3D高斯溅射（3DGS）的逆渲染质量。首先，我们报告了一个由隐藏高斯引起的问题，即表面下方的高斯会对现有方法中采用的体渲染中的像素颜色产生不利影响。为了解决这个问题，我们提出应用延迟渲染，并报告了在现有基于3DGS的逆渲染中直接应用延迟渲染所产生的新问题。为了提高延迟渲染下基于3DGS的逆渲染质量，我们提出了一种新颖的两步训练方法，该方法（1）利用网格提取并采用混合网格-3DGS表示，以及（2）应用新颖的正则化方法以更好地利用网格。实验表明，在光照重构下，所提出的方法比现有的基于3DGS的逆渲染方法提供明显更好的渲染质量。与最先进的基于体素网格的逆渲染方法相比，它提供了更好的渲染质量，同时提供实时渲染。

🔬 方法详解

问题定义：现有基于3D高斯溅射（3DGS）的逆渲染方法在处理复杂场景时，会受到隐藏高斯的影响。具体来说，位于物体表面下方的高斯粒子会不正确地影响像素颜色，导致渲染结果出现伪影和不准确的光照效果。这种问题在光照重构等任务中尤为明显，因为准确的光照估计依赖于精确的几何和材质表示。

核心思路：本文的核心思路是采用延迟渲染（Deferred Rendering）来解决隐藏高斯问题。延迟渲染将渲染过程分解为多个阶段，首先渲染几何信息（如深度和法线）到G-buffer，然后再根据G-buffer计算像素颜色。通过这种方式，可以避免隐藏高斯直接影响最终的像素颜色。此外，为了进一步提升渲染质量，论文还引入了混合网格-3DGS表示，利用网格提供更精确的几何信息。

技术框架：该方法包含两个主要步骤。第一步是网格提取和混合表示。首先，从3DGS场景中提取网格结构，然后将场景表示为网格和3DGS的混合形式。网格用于提供精确的几何信息，而3DGS则用于捕捉细节和处理复杂的光照效果。第二步是训练过程，该过程利用了新颖的正则化方法，以更好地利用网格信息，并优化3DGS参数。

关键创新：该论文的关键创新在于将延迟渲染与3DGS结合，并引入混合网格-3DGS表示。延迟渲染有效地解决了隐藏高斯问题，而混合表示则结合了网格的精确几何信息和3DGS的细节捕捉能力。此外，论文还提出了针对混合表示的正则化方法，进一步提升了渲染质量。

关键设计：在混合网格-3DGS表示中，网格的顶点位置和法线被用于指导3DGS粒子的位置和方向。损失函数包括渲染损失、几何损失和正则化损失。渲染损失用于保证渲染结果的准确性，几何损失用于约束3DGS粒子与网格的几何一致性，正则化损失用于防止3DGS粒子过度拟合。具体的正则化方法包括对3DGS粒子的位置、尺度和旋转的约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在光照重构任务中显著优于现有的基于3DGS的逆渲染方法。与SOTA的基于体素网格的逆渲染方法相比，该方法在提供更好渲染质量的同时，实现了实时渲染。具体性能数据未知，但论文强调了在光照重构质量和渲染速度上的显著提升。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发等领域，尤其是在需要高质量光照效果和实时渲染的应用场景中。例如，可以用于创建逼真的虚拟环境，进行光照重构和编辑，以及实现交互式的光照效果。

📄 摘要（原文）

We propose two novel ideas (adoption of deferred rendering and mesh-based representation) to improve the quality of 3D Gaussian splatting (3DGS) based inverse rendering. We first report a problem incurred by hidden Gaussians, where Gaussians beneath the surface adversely affect the pixel color in the volume rendering adopted by the existing methods. In order to resolve the problem, we propose applying deferred rendering and report new problems incurred in a naive application of deferred rendering to the existing 3DGS-based inverse rendering. In an effort to improve the quality of 3DGS-based inverse rendering under deferred rendering, we propose a novel two-step training approach which (1) exploits mesh extraction and utilizes a hybrid mesh-3DGS representation and (2) applies novel regularization methods to better exploit the mesh. Our experiments show that, under relighting, the proposed method offers significantly better rendering quality than the existing 3DGS-based inverse rendering methods. Compared with the SOTA voxel grid-based inverse rendering method, it gives better rendering quality while offering real-time rendering.