RNG: Relightable Neural Gaussians

📄 arXiv: 2409.19702v5 📥 PDF

作者: Jiahui Fan, Fujun Luan, Jian Yang, Miloš Hašan, Beibei Wang

分类: cs.CV, cs.GR

发布日期: 2024-09-29 (更新: 2025-04-07)

备注: Camera-ready version. Proceedings of CVPR 2025

💡 一句话要点

提出RNG：一种基于3D高斯分布的可重光照神经渲染方法，适用于复杂形状物体。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 可重光照渲染 3D高斯溅射 神经渲染 阴影生成 深度细化

📋 核心要点

  1. 现有3DGS方法在固定光照下表现出色，但难以处理复杂形状物体的可重光照问题，光照、几何和材质的解耦具有挑战性。
  2. RNG通过将每个点的辐射度与视角和光照方向相关联，并引入阴影线索和深度细化网络，实现了对复杂形状物体的可重光照。
  3. RNG采用混合前向-延迟拟合策略，平衡几何和外观质量，实验表明其训练和渲染速度更快，阴影质量更高。

📝 摘要（中文）

3D高斯溅射(3DGS)在novel view synthesis任务中表现出令人印象深刻的结果，但其前提是光照固定不变。然而，创建可重光照的3D资产，特别是对于形状不规则的物体(如毛皮、织物等)，仍然是一项具有挑战性的任务。光照、几何和材质之间的分解是模糊的，特别是当平滑表面假设或基于表面的解析着色模型不适用时。我们提出Relightable Neural Gaussians (RNG)，这是一种新颖的基于3DGS的框架，可以对具有硬表面或软边界的物体进行重光照，同时避免对着色模型进行假设。我们将每个点的辐射度与视角和光照方向相关联。我们还引入了阴影线索以及深度细化网络，以提高阴影精度。最后，我们提出了一种混合的前向-延迟拟合策略，以平衡几何和外观质量。与基于神经辐射场的先前方法相比，我们的方法实现了显着更快的训练速度(1.3小时)和渲染速度(60帧/秒)，并且比基于3DGS的并发方法产生更高质量的阴影。

🔬 方法详解

问题定义：论文旨在解决在复杂光照条件下，对具有复杂几何形状（如毛皮、织物等）的3D物体进行可重光照渲染的问题。现有方法，特别是基于传统着色模型的渲染方法，难以准确地模拟这些物体的光照效果，而基于神经辐射场的方法训练和渲染速度较慢。

核心思路：论文的核心思路是将3D高斯溅射（3DGS）扩展到可重光照的场景。通过将每个高斯点的辐射度与视角和光照方向相关联，RNG能够学习到物体在不同光照条件下的外观变化。此外，引入阴影线索和深度细化网络来提高阴影的准确性。

技术框架：RNG框架基于3DGS，主要包含以下几个模块：1) 3D高斯表示：使用3D高斯分布来表示场景的几何和外观。2) 辐射度估计：使用一个神经网络来估计每个高斯点在给定视角和光照方向下的辐射度。3) 阴影线索：引入阴影线索来帮助网络学习更准确的阴影效果。4) 深度细化网络：使用一个深度细化网络来提高场景的深度精度，从而改善阴影质量。5) 混合前向-延迟拟合策略：采用一种混合的训练策略，先进行前向拟合以快速收敛，然后进行延迟拟合以提高渲染质量。

关键创新：RNG的关键创新在于：1) 将3DGS扩展到可重光照场景，使其能够处理复杂光照条件下的渲染。2) 引入阴影线索和深度细化网络，显著提高了阴影的准确性。3) 提出混合前向-延迟拟合策略，平衡了训练速度和渲染质量。

关键设计：RNG的关键设计包括：1) 使用多层感知机（MLP）来估计每个高斯点的辐射度，MLP的输入包括视角方向、光照方向和高斯点的特征。2) 阴影线索通过计算每个高斯点到光源的可见性来获得，可见性可以使用光线投射或阴影贴图等方法来计算。3) 深度细化网络使用一个卷积神经网络（CNN）来预测场景的深度图，CNN的输入是渲染的图像和初始深度图。4) 混合前向-延迟拟合策略通过在训练初期使用较大的学习率和较少的训练迭代次数来进行前向拟合，然后在训练后期使用较小的学习率和较多的训练迭代次数来进行延迟拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RNG在可重光照渲染任务上取得了显著的性能提升。实验结果表明，RNG的训练速度比基于神经辐射场的先前方法快得多（1.3小时），渲染速度达到60帧/秒。此外，RNG生成的阴影质量也优于基于3DGS的并发方法，能够更准确地模拟复杂光照条件下的阴影效果。

🎯 应用场景

RNG技术可应用于虚拟现实、增强现实、游戏开发等领域，用于创建具有逼真光照效果的3D模型。该技术尤其适用于需要对复杂形状物体进行渲染的场景，例如虚拟服装展示、数字角色创建等。未来，RNG有望进一步提升3D内容的真实感和交互性。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has shown impressive results for the novel view synthesis task, where lighting is assumed to be fixed. However, creating relightable 3D assets, especially for objects with ill-defined shapes (fur, fabric, etc.), remains a challenging task. The decomposition between light, geometry, and material is ambiguous, especially if either smooth surface assumptions or surfacebased analytical shading models do not apply. We propose Relightable Neural Gaussians (RNG), a novel 3DGS-based framework that enables the relighting of objects with both hard surfaces or soft boundaries, while avoiding assumptions on the shading model. We condition the radiance at each point on both view and light directions. We also introduce a shadow cue, as well as a depth refinement network to improve shadow accuracy. Finally, we propose a hybrid forward-deferred fitting strategy to balance geometry and appearance quality. Our method achieves significantly faster training (1.3 hours) and rendering (60 frames per second) compared to a prior method based on neural radiance fields and produces higher-quality shadows than a concurrent 3DGS-based method. Project page: https://www.whois-jiahui.fun/project_pages/RNG.