Differentiable Light Transport with Gaussian Surfels via Adapted Radiosity for Efficient Relighting and Geometry Reconstruction
作者: Kaiwen Jiang, Jia-Mu Sun, Zilu Li, Dan Wang, Tzu-Mao Li, Ravi Ramamoorthi
分类: cs.GR, cs.CV
发布日期: 2025-09-23 (更新: 2025-09-29)
💡 一句话要点
提出基于高斯Surfels和自适应辐射度的可微光传输方法，实现高效的Relighting和几何重建。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 可微渲染 光传输 全局光照 高斯Surfels 辐射度 逆渲染 几何重建
📋 核心要点
- 现有的Radiance Fields方法在建模材质反射属性和光照条件方面存在不足，导致几何歧义和难以进行Relighting。
- 本文采用高斯Surfels作为图元，并构建了一个高效的可微光传输框架，该框架基于经典辐射度理论，在球谐函数空间中运行。
- 实验结果表明，该方法在几何重建、视角合成和Relighting方面优于现有方法，尤其是在数据稀疏的情况下。
📝 摘要（中文）
本文提出了一种基于高斯Surfels的可微光传输高效框架，用于实现高效的Relighting和几何重建。该框架灵感来源于经典的辐射度理论，并在球谐函数的系数空间中运行，支持漫反射和镜面反射材质。我们扩展了经典的辐射度理论，使其适用于非二元可见性和半透明图元，提出了新的求解器来高效地解决光传输问题，并推导了梯度优化的反向传播，其效率高于自动微分。在推理过程中，我们实现了与视角无关的渲染，无需在视角变化时重新计算光传输，从而实现了数百FPS的全局光照效果，包括使用球谐函数表示的视角相关反射。通过大量的定性和定量实验，我们证明了在已知或未知光照条件下，相对于之前的逆渲染基线或数据驱动基线，我们的方法在几何重建、视角合成和Relighting方面都表现出优越的性能，尤其是在相对稀疏的数据集上。
🔬 方法详解
问题定义：现有基于Radiance Fields的方法，如Gaussian Splatting，虽然在novel view synthesis和几何重建上取得了成功，但牺牲了对材质反射属性和光照条件的建模。这导致几何重建的模糊性，并且难以进行光照重定向(relighting)。虽然基于物理的渲染可以解决这些问题，但将其完整地融入优化循环中计算成本过高，之前的简化方法虽然提高了效率，但牺牲了精度。
核心思路：本文的核心思路是借鉴经典的辐射度理论，利用高斯Surfels作为基本图元，构建一个可微的光传输框架。通过在球谐函数系数空间中进行计算，可以同时处理漫反射和镜面反射材质，从而更准确地模拟全局光照效果。这种方法旨在在效率和精度之间取得平衡，实现快速且高质量的relighting和几何重建。
技术框架：该框架主要包含以下几个阶段：1) 使用高斯Surfels表示场景几何；2) 在球谐函数空间中计算Surfels之间的光传输；3) 扩展经典辐射度理论以处理非二元可见性和半透明图元；4) 使用新的求解器高效地解决光传输方程；5) 推导反向传播过程，用于梯度优化。整个框架是可微的，可以进行端到端的优化。
关键创新：该方法的关键创新在于：1) 将经典辐射度理论扩展到非二元可见性和半透明图元，使其更适用于复杂场景；2) 提出了新的求解器，能够高效地解决光传输方程，避免了传统方法的计算瓶颈；3) 推导了高效的反向传播过程，其效率高于自动微分，从而加速了优化过程。
关键设计：该方法使用球谐函数来表示光照和材质属性，这使得可以高效地计算光照积分。损失函数的设计旨在同时优化几何形状、材质属性和光照条件。具体参数设置和网络结构（如果使用）在论文中应该有详细描述，但摘要中未提及。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在几何重建、视角合成和relighting方面均优于现有方法。尤其是在稀疏数据集上，该方法能够重建出更准确的几何形状和更逼真的光照效果。该方法实现了数百FPS的全局光照效果渲染，包括视角相关的反射，这表明其具有很高的效率。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、游戏开发等领域，实现逼真的光照效果和高质量的场景重建。通过高效的relighting技术，可以方便地调整场景的光照条件，从而创造出更加丰富的视觉体验。此外，该方法还可以用于逆向工程，从图像或视频中重建三维场景，并估计场景的光照环境。
📄 摘要（原文）
Radiance fields have gained tremendous success with applications ranging from novel view synthesis to geometry reconstruction, especially with the advent of Gaussian splatting. However, they sacrifice modeling of material reflective properties and lighting conditions, leading to significant geometric ambiguities and the inability to easily perform relighting. One way to address these limitations is to incorporate physically-based rendering, but it has been prohibitively expensive to include full global illumination within the inner loop of the optimization. Therefore, previous works adopt simplifications that make the whole optimization with global illumination effects efficient but less accurate. In this work, we adopt Gaussian surfels as the primitives and build an efficient framework for differentiable light transport, inspired from the classic radiosity theory. The whole framework operates in the coefficient space of spherical harmonics, enabling both diffuse and specular materials. We extend the classic radiosity into non-binary visibility and semi-opaque primitives, propose novel solvers to efficiently solve the light transport, and derive the backward pass for gradient optimizations, which is more efficient than auto-differentiation. During inference, we achieve view-independent rendering where light transport need not be recomputed under viewpoint changes, enabling hundreds of FPS for global illumination effects, including view-dependent reflections using a spherical harmonics representation. Through extensive qualitative and quantitative experiments, we demonstrate superior geometry reconstruction, view synthesis and relighting than previous inverse rendering baselines, or data-driven baselines given relatively sparse datasets with known or unknown lighting conditions.