BiGS: Bidirectional Gaussian Primitives for Relightable 3D Gaussian Splatting

📄 arXiv: 2408.13370v1 📥 PDF

作者: Zhenyuan Liu, Yu Guo, Xinyuan Li, Bernd Bickel, Ran Zhang

分类: cs.CV, cs.GR

发布日期: 2024-08-23

💡 一句话要点

提出双向高斯基元(BiGS)，实现动态光照下可重新光照的3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 新视角合成 光照重构 光照内在分解 双向球谐函数

📋 核心要点

  1. 现有方法难以在动态光照下对具有复杂材质的3D物体进行实时重新光照，尤其是在体积表示中法线信息缺失的情况下。
  2. BiGS通过将光照内在分解融入高斯溅射框架，并采用双向球谐函数来统一表面和体积材质的表示，实现了实时重新光照。
  3. 实验结果表明，BiGS能够利用OLAT数据，在新的光照条件下实时地重现具有逼真外观的3D物体，效果显著。

📝 摘要（中文）

本文提出了一种基于图像的新视角合成技术，称为双向高斯基元(BiGS)，旨在表示和渲染动态光照下具有表面和体积材质的3D物体。该方法将光照内在分解集成到高斯溅射框架中，从而实现3D物体的实时重新光照。为了在统一的外观模型中统一表面和体积材质，我们通过双向球谐函数采用了一种光照和视角相关的散射表示。我们的模型不使用特定的表面法线相关的反射函数，使其更兼容于像高斯溅射这样的体积表示，因为高斯溅射中法线是未定义的。我们通过重建和渲染具有复杂材质的物体来展示我们的方法。使用单次一光照(OLAT)数据作为输入，我们可以在新的光照条件下实时地重现逼真的外观。

🔬 方法详解

问题定义：论文旨在解决在动态光照条件下，如何对具有复杂材质（包括表面和体积材质）的3D物体进行实时且逼真的重新光照问题。现有方法，特别是基于表面法线的反射模型，在高斯溅射等体积表示中表现不佳，因为这些表示通常缺乏明确的表面法线信息。

核心思路：核心思路是将光照内在分解集成到高斯溅射框架中，并使用双向球谐函数来表示光照和视角相关的散射。通过这种方式，模型不再依赖于显式的表面法线，从而更适合于体积表示。同时，双向球谐函数能够统一地表示表面和体积材质，实现更真实的渲染效果。

技术框架：整体框架包括以下几个主要阶段：1）使用One-Light-At-a-Time (OLAT) 数据作为输入，获取不同光照条件下的图像；2）将光照信息分解为内在光照分量；3）利用双向球谐函数对高斯基元进行外观建模，捕捉光照和视角相关的散射特性；4）基于新的光照条件，对3D物体进行实时渲染。

关键创新：最重要的创新点在于将光照内在分解与高斯溅射相结合，并采用双向球谐函数来表示材质外观。这使得模型能够处理复杂的材质，并在没有显式表面法线的情况下实现逼真的重新光照。与传统方法相比，BiGS更适用于体积表示，并且能够统一处理表面和体积材质。

关键设计：关键设计包括：1）使用球谐函数来表示双向散射分布，捕捉光照和视角依赖性；2）设计损失函数，以优化高斯基元的参数和球谐系数，从而实现准确的光照分解和材质表示；3）采用高效的渲染算法，以实现实时的重新光照效果。具体的参数设置和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，BiGS能够利用OLAT数据，在新的光照条件下实时地重现具有逼真外观的3D物体。与现有方法相比，BiGS在光照效果的准确性和渲染速度方面均有显著提升。具体的性能数据和对比基线在论文中进行了详细展示（未知）。

🎯 应用场景

该研究成果可广泛应用于虚拟现实、增强现实、游戏开发、电影制作等领域。通过BiGS，用户可以实时地改变3D物体的光照条件，从而创造出更加逼真和沉浸式的体验。此外，该技术还可以用于产品设计和可视化，帮助设计师更好地评估不同光照条件下的产品外观。

📄 摘要（原文）

We present Bidirectional Gaussian Primitives, an image-based novel view synthesis technique designed to represent and render 3D objects with surface and volumetric materials under dynamic illumination. Our approach integrates light intrinsic decomposition into the Gaussian splatting framework, enabling real-time relighting of 3D objects. To unify surface and volumetric material within a cohesive appearance model, we adopt a light- and view-dependent scattering representation via bidirectional spherical harmonics. Our model does not use a specific surface normal-related reflectance function, making it more compatible with volumetric representations like Gaussian splatting, where the normals are undefined. We demonstrate our method by reconstructing and rendering objects with complex materials. Using One-Light-At-a-Time (OLAT) data as input, we can reproduce photorealistic appearances under novel lighting conditions in real time.