MaterialRefGS: Reflective Gaussian Splatting with Multi-view Consistent Material Inference
作者: Wenyuan Zhang, Jimin Tang, Weiqi Zhang, Yi Fang, Yu-Shen Liu, Zhizhong Han
分类: cs.CV
发布日期: 2025-10-13 (更新: 2025-10-19)
备注: Accepted by NeurIPS 2025. Project Page: https://wen-yuan-zhang.github.io/MaterialRefGS
💡 一句话要点
MaterialRefGS：提出多视角一致材质推断的反射高斯溅射方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯溅射 反射建模 新视角合成 多视角一致性 材质推断 光线追踪 环境建模
📋 核心要点
- 现有方法在环境建模不足时，材质推断缺乏约束，导致光照混叠和泛化性差。
- 通过多视角一致的材质推断和更符合物理规律的环境建模，提升高斯溅射反射建模的准确性。
- 实验表明，该方法能更真实地恢复光照和几何信息，并在新视角合成中达到SOTA渲染质量。
📝 摘要（中文）
对2D图像中的反射进行建模对于照片级真实感渲染和新视角合成至关重要。最近的方法通过使用与反射相关的材质属性来增强高斯基元，从而实现基于物理的渲染(PBR)与高斯溅射。然而，材质推断通常缺乏足够的约束，尤其是在有限的环境建模下，导致光照混叠和泛化能力降低。本文从多视角角度重新审视该问题，表明具有更基于物理的环境建模的多视角一致材质推断是利用高斯溅射学习精确反射的关键。为此，我们强制2D高斯在延迟着色期间生成多视角一致的材质贴图。我们还跟踪跨视角的 photometric 变化，以识别高反射区域，这些区域可以作为反射强度项的强先验。为了处理由对象间遮挡引起的间接光照，我们进一步引入了一种通过使用2DGS进行光线追踪的环境建模策略，从而实现间接辐射的照片级真实感渲染。在广泛使用的基准测试上的实验表明，我们的方法忠实地恢复了光照和几何形状，在新视角合成中实现了最先进的渲染质量。
🔬 方法详解
问题定义：现有基于高斯溅射的反射建模方法，在环境建模不充分的情况下，材质推断缺乏足够的约束，导致光照混叠现象，降低了新视角合成的渲染质量和泛化能力。尤其是在处理复杂光照和遮挡时，效果不佳。
核心思路：论文的核心思路是从多视角一致性的角度出发，通过约束高斯基元在不同视角下产生一致的材质属性，并结合更精确的基于物理的环境建模，来提升反射建模的准确性。利用多视角信息互补，减少材质推断的不确定性。
技术框架：该方法主要包含以下几个阶段：1) 使用高斯溅射表示场景；2) 在延迟着色过程中，强制2D高斯生成多视角一致的材质贴图；3) 跟踪跨视角的 photometric 变化，识别高反射区域，作为反射强度项的先验；4) 使用2DGS进行光线追踪，模拟间接光照，提升渲染真实感。
关键创新：该方法最重要的创新点在于多视角一致的材质推断和基于光线追踪的环境建模。传统方法通常独立地从每个视角推断材质，缺乏跨视角的约束。而该方法通过多视角一致性约束，提高了材质推断的准确性。同时，通过光线追踪模拟间接光照，解决了复杂场景下的光照建模问题。
关键设计：在材质一致性方面，设计了损失函数来约束不同视角下材质贴图的差异。在反射强度先验方面，通过分析 photometric 变化来确定高反射区域。在环境建模方面，利用高斯溅射进行光线追踪，计算间接光照的影响。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MaterialRefGS 在新视角合成任务上取得了显著的性能提升，超越了现有的高斯溅射方法。该方法能够更准确地恢复场景的几何结构和光照信息，尤其是在处理复杂反射和间接光照时，渲染效果更加逼真。在公开数据集上的定量评估也证明了该方法的优越性。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、游戏开发等领域，提升渲染的真实感和沉浸感。通过更准确地建模反射效果，可以创建更逼真的虚拟场景和物体，提高用户体验。此外，该方法还可以用于逆向渲染，从图像中恢复物体的材质属性和光照环境。
📄 摘要（原文）
Modeling reflections from 2D images is essential for photorealistic rendering and novel view synthesis. Recent approaches enhance Gaussian primitives with reflection-related material attributes to enable physically based rendering (PBR) with Gaussian Splatting. However, the material inference often lacks sufficient constraints, especially under limited environment modeling, resulting in illumination aliasing and reduced generalization. In this work, we revisit the problem from a multi-view perspective and show that multi-view consistent material inference with more physically-based environment modeling is key to learning accurate reflections with Gaussian Splatting. To this end, we enforce 2D Gaussians to produce multi-view consistent material maps during deferred shading. We also track photometric variations across views to identify highly reflective regions, which serve as strong priors for reflection strength terms. To handle indirect illumination caused by inter-object occlusions, we further introduce an environment modeling strategy through ray tracing with 2DGS, enabling photorealistic rendering of indirect radiance. Experiments on widely used benchmarks show that our method faithfully recovers both illumination and geometry, achieving state-of-the-art rendering quality in novel views synthesis.