Subsurface Scattering for 3D Gaussian Splatting
作者: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch
分类: cs.CV, cs.GR
发布日期: 2024-08-22 (更新: 2024-10-31)
备注: Project page: https://sss.jdihlmann.com/
💡 一句话要点
提出基于3D高斯溅射的次表面散射建模方法，实现材质编辑和实时渲染。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 次表面散射 3D高斯溅射 可微渲染 光照重定向 材质编辑
📋 核心要点
- 传统方法难以捕捉散射材质的次表面散射特性，导致3D重建和光照重定向效果不佳。
- 该论文提出结合3D高斯溅射和隐式体积表示，显式建模表面和隐式建模散射，实现更真实的渲染。
- 实验表明，该方法在合成数据和真实数据上均表现良好，并能实现交互式的材质编辑和光照重定向。
📝 摘要（中文）
由于表面之下的复杂光传输，散射材料物体的3D重建和光照重定向提出了重大挑战。3D高斯溅射以实时的速度引入了高质量的新视角合成。虽然3D高斯有效地近似了物体的表面，但它们无法捕捉次表面散射的体积属性。我们提出了一个框架，用于优化物体的形状以及给定多视角OLAT（一次一盏灯）数据的辐射传输场。我们的方法将场景分解为由3D高斯表示的显式表面（具有空间变化的BRDF）和散射分量的隐式体积表示。学习到的入射光场解释了阴影。我们通过光线追踪可微渲染联合优化所有参数。我们的方法能够以交互速率进行材质编辑、光照重定向和新视角合成。我们展示了在合成数据上的成功应用，并引入了一个新获取的、包含光台设置中物体的多视角多光照数据集。与之前的工作相比，我们以更少的优化和渲染时间实现了可比或更好的结果，同时实现了对材质属性的详细控制。
🔬 方法详解
问题定义：论文旨在解决散射材质的3D重建和光照重定向问题。现有方法，特别是基于3D高斯溅射的方法，虽然能高效地近似物体表面，但无法准确捕捉次表面散射的体积属性，导致渲染效果不真实。现有方法优化和渲染时间较长，难以实现交互式编辑和渲染。
核心思路：论文的核心思路是将场景分解为显式表面和隐式体积两部分。显式表面由3D高斯表示，用于捕捉物体的几何形状和表面反射特性（BRDF）。隐式体积表示用于捕捉次表面散射的体积属性。通过联合优化这两个部分，可以更准确地模拟散射材质的光照效果。
技术框架：该方法的技术框架包含以下几个主要模块：1) 3D高斯溅射：用于表示物体的表面几何形状和BRDF。2) 隐式体积表示：用于表示次表面散射的体积属性。3) 入射光场估计：学习一个入射光场来考虑阴影的影响。4) 可微渲染：使用光线追踪的可微渲染器，将3D高斯、隐式体积和入射光场渲染成图像。5) 联合优化：通过最小化渲染图像与真实图像之间的差异，联合优化3D高斯参数、隐式体积参数和入射光场。
关键创新：该方法的关键创新在于将3D高斯溅射与隐式体积表示相结合，显式地建模表面反射和隐式地建模次表面散射。这种混合表示方法既能保持3D高斯溅射的高效性，又能捕捉次表面散射的复杂光照效果。此外，使用学习到的入射光场来考虑阴影的影响，进一步提高了渲染的真实感。
关键设计：论文使用空间变化的BRDF来表示表面的反射特性。隐式体积表示的具体形式未知，摘要中没有明确说明。损失函数的设计目标是最小化渲染图像与真实图像之间的差异，具体形式未知。论文使用光线追踪的可微渲染器进行渲染，保证了梯度能够有效地传播到各个模块。
🖼️ 关键图片
📊 实验亮点
该方法在合成数据和真实数据上均取得了良好的效果。与之前的工作相比，该方法在优化和渲染时间上都有显著的提升，同时实现了可比或更好的渲染质量。此外，该方法还支持交互式的材质编辑和光照重定向，为用户提供了更大的灵活性。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、游戏开发、电影制作等领域。通过该方法，可以更真实地渲染散射材质的物体，例如皮肤、蜡烛、大理石等，从而提高用户体验。该方法还可用于材质编辑和光照重定向，方便艺术家和设计师进行创作。
📄 摘要（原文）
3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/