RxGS: Relightable Gaussian Stylization via BRDF Decomposition
作者: Wanrong Hong, Liu Jiang, Mukesh Prasad, Jun Li
分类: cs.CV
发布日期: 2026-10-19
💡 一句话要点
提出RxGS框架以解决3D场景风格化的重光照问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 3D场景风格化 重光照 BRDF 高斯表示 逆渲染 几何一致性 神经场景模型
📋 核心要点
- 现有的参考基础3D场景风格化方法在光照条件变化时无法重新渲染，限制了其应用。
- RxGS框架通过优化漫反射反照率场而非单点RGB颜色，解决了光照固化的问题，保持了物理渲染所需的其他组件。
- 实验结果表明，RxGS在所有评估的NeRF-Synthetic场景中实现了最低的几何一致性成本，并在真实捕获场景中保持竞争力。
📝 摘要（中文）
基于参考图像的3D场景风格化旨在将参考图像的外观转移到重建的3D场景中，同时保持场景几何形状。现有方法通过优化神经场景模型的外观表示来实现这一转移，但在风格化过程中，光照效果被固化在存储的外观中，导致无法在不同光照条件下重新渲染。为了解决这一限制，本文提出了RxGS框架，该框架基于双向反射分布函数（BRDF）感知的3D高斯表示。RxGS优化了通过逆渲染恢复的漫反射反照率场，而保持粗糙度、金属度、表面法线和环境光照估计不变，从而实现可重光照的风格化。
🔬 方法详解
问题定义：现有的参考基础3D场景风格化方法在风格化过程中将光照效果固化在存储的外观中，导致无法在不同光照条件下重新渲染。
核心思路：RxGS框架通过优化漫反射反照率场，而非直接修改每个点的RGB颜色，保持了其他物理渲染所需的组件不变，从而实现可重光照的风格化。
技术框架：RxGS的整体架构包括逆渲染模块用于恢复漫反射反照率场，最近邻特征匹配损失用于优化，空间平滑先验用于高斯中心的平滑处理。
关键创新：RxGS的主要创新在于其基于BRDF的3D高斯表示，能够在保持其他物理属性不变的情况下，实现可重光照的风格化，这与现有方法的本质区别在于不再固化光照效果。
关键设计：RxGS使用最近邻特征匹配损失函数来优化反照率场，并引入空间平滑先验以确保高斯中心的平滑性，具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RxGS在所有评估的NeRF-Synthetic场景中实现了最低的几何一致性成本（GCC），并在真实捕获场景中保持竞争力，支持可重光照的风格化，这是现有方法所不具备的。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和电影制作等，能够为3D场景的风格化提供更高的灵活性和真实感。未来，RxGS可能推动更复杂的场景渲染技术的发展，提升用户体验。
📄 摘要（原文）
Reference-based 3D scene stylization transfers the appearance of a reference image onto a reconstructed 3D scene while preserving scene geometry. Recent methods perform this transfer by optimizing the appearance representation of neural scene models including Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). These methods optimize an RGB appearance representation, in which a single per-point colour combines the effects of material reflectance, environment illumination, together with the shading it produces, and the viewing direction. When stylization modifies this combined colour, the illumination effects present during stylization are baked into the stored appearance, so the stylized scene cannot be rendered under different illumination. To address this limitation, we present RxGS, a relightable 3D scene stylization framework built on a Bidirectional Reflectance Distribution Function (BRDF)-aware 3D Gaussian representation. Rather than modifying a per-point RGB colour, RxGS optimizes only the diffuse albedo field recovered by inverse rendering, while leaving roughness, metallicity, surface normals, and the estimated environment lighting unchanged. As a result, the stylized scene keeps all the components a physically-based renderer needs other than the edited albedo, and can therefore still be relit. RxGS optimizes the albedo field using a nearest-neighbour feature matching loss together with a spatial smoothness prior over Gaussian centres. We evaluate the method using a Geometry Consistency Cost (GCC) based on optical-flow warping error. RxGS achieves the lowest GCC on all evaluated NeRF-Synthetic scenes and remains competitive on real-captured scenes, while additionally supporting relightable stylization, which existing reference-based 3D scene stylization methods do not provide.