GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering

📄 arXiv: 2410.02619v2 📥 PDF

作者: Hongze Chen, Zehong Lin, Jun Zhang

分类: cs.CV

发布日期: 2024-10-03 (更新: 2025-03-27)

备注: Camera-ready version. Project page: https://stopaimme.github.io/GI-GS-site/

💡 一句话要点

GI-GS：基于高斯溅射的全局光照分解逆渲染框架，实现逼真的新视角合成与重光照。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 逆渲染 全局光照 高斯溅射 路径追踪 延迟着色 新视角合成 重光照

📋 核心要点

  1. 现有基于3DGS的逆渲染方法难以准确建模光与物体间复杂的物理交互，导致重光照时间接光照不真实。
  2. GI-GS框架利用3DGS和延迟着色，通过高效的路径追踪计算间接光照，从而更准确地模拟全局光照。
  3. 实验结果表明，GI-GS在渲染质量和效率上均优于现有方法，实现了更好的新视角合成和重光照效果。

📝 摘要（中文）

本文提出了一种新的逆渲染框架GI-GS，它利用3D高斯溅射（3DGS）和延迟着色来实现照片级逼真的新视角合成和重光照。在逆渲染中，精确地建模物体的着色过程对于获得高保真结果至关重要。因此，纳入全局光照来解释光线在场景中多次反射后到达物体的间接光照至关重要。以往基于3DGS的方法试图通过将间接光照描述为可学习的光照体或每个高斯的附加属性来对间接光照进行建模，同时使用烘焙的遮挡来表示阴影效果。然而，这些方法无法准确地建模光和物体之间复杂的物理相互作用，从而无法在重光照期间构建真实的间接光照。为了解决这个限制，我们建议使用带有延迟着色的高效路径追踪来计算间接光照。在我们的框架中，我们首先渲染一个G-buffer来捕获场景的详细几何和材质属性。然后，我们仅对直接光照执行基于物理的渲染（PBR）。利用G-buffer和之前的渲染结果，可以通过轻量级的路径追踪来计算间接光照。我们的方法有效地模拟了任何给定光照条件下的间接光照，从而实现了更好的新视角合成和具有竞争力的重光照。定量和定性结果表明，我们的GI-GS在渲染质量和效率方面均优于现有的基线。

🔬 方法详解

问题定义：现有的基于3DGS的逆渲染方法在建模全局光照，特别是间接光照方面存在不足。它们通常采用可学习的光照体或高斯属性来近似间接光照，或者使用烘焙的遮挡来模拟阴影，无法准确捕捉光线在场景中多次反射后的复杂物理交互，导致重光照效果不真实。

核心思路：GI-GS的核心思路是利用延迟着色和路径追踪来更精确地计算间接光照。首先渲染包含几何和材质信息的G-buffer，然后仅对直接光照进行基于物理的渲染（PBR）。利用G-buffer和直接光照结果，通过轻量级的路径追踪来计算间接光照，从而更真实地模拟全局光照效果。

技术框架：GI-GS框架主要包含以下几个阶段：1) 使用3DGS表示场景；2) 渲染G-buffer，包含深度、法线、材质属性等信息；3) 对直接光照进行PBR渲染；4) 利用G-buffer和直接光照结果，通过路径追踪计算间接光照；5) 合成直接光照和间接光照，得到最终渲染结果。

关键创新：GI-GS的关键创新在于将延迟着色和路径追踪引入到基于3DGS的逆渲染框架中，用于更精确地计算间接光照。与以往方法使用近似方法建模间接光照不同，GI-GS通过路径追踪模拟光线在场景中的传播，从而更真实地反映全局光照效果。

关键设计：GI-GS的关键设计包括：1) 使用3DGS作为场景表示，能够高效地进行渲染；2) 采用延迟着色，将光照计算与几何渲染分离，方便进行路径追踪；3) 使用轻量级的路径追踪算法，在保证精度的同时提高计算效率；4) G-buffer中包含详细的几何和材质信息，为路径追踪提供必要的数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GI-GS在渲染质量和效率方面均优于现有的基线方法。在定量评估中，GI-GS在PSNR、SSIM等指标上取得了显著提升。在定性评估中，GI-GS能够生成更逼真的光照效果，特别是间接光照效果，从而提升了渲染图像的真实感。

🎯 应用场景

GI-GS具有广泛的应用前景，包括虚拟现实、增强现实、游戏开发、电影制作等领域。它可以用于创建更逼真的虚拟场景，实现更自然的光照效果，提升用户体验。此外，GI-GS还可以用于产品设计和建筑可视化，帮助设计师和建筑师更好地展示他们的作品。

📄 摘要（原文）

We present GI-GS, a novel inverse rendering framework that leverages 3D Gaussian Splatting (3DGS) and deferred shading to achieve photo-realistic novel view synthesis and relighting. In inverse rendering, accurately modeling the shading processes of objects is essential for achieving high-fidelity results. Therefore, it is critical to incorporate global illumination to account for indirect lighting that reaches an object after multiple bounces across the scene. Previous 3DGS-based methods have attempted to model indirect lighting by characterizing indirect illumination as learnable lighting volumes or additional attributes of each Gaussian, while using baked occlusion to represent shadow effects. These methods, however, fail to accurately model the complex physical interactions between light and objects, making it impossible to construct realistic indirect illumination during relighting. To address this limitation, we propose to calculate indirect lighting using efficient path tracing with deferred shading. In our framework, we first render a G-buffer to capture the detailed geometry and material properties of the scene. Then, we perform physically-based rendering (PBR) only for direct lighting. With the G-buffer and previous rendering results, the indirect lighting can be calculated through a lightweight path tracing. Our method effectively models indirect lighting under any given lighting conditions, thereby achieving better novel view synthesis and competitive relighting. Quantitative and qualitative results show that our GI-GS outperforms existing baselines in both rendering quality and efficiency.