GS-ROR$^2$: Bidirectional-guided 3DGS and SDF for Reflective Object Relighting and Reconstruction

📄 arXiv: 2406.18544v3 📥 PDF

作者: Zuo-Liang Zhu, Beibei Wang, Jian Yang

分类: cs.CV, cs.GR

发布日期: 2024-05-22 (更新: 2025-04-28)

💡 一句话要点

提出GS-ROR$^2$，双向引导3DGS与SDF，实现反射物体的可重光照与高质量重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 可重光照 高斯溅射 符号距离场 反射物体 双向引导 几何优化

📋 核心要点

  1. 传统3DGS方法在处理反射物体时，难以同时实现可重光照和精确几何重建，主要原因是其不连续表示难以约束几何形状。
  2. GS-ROR$^2$的核心思想是利用SDF和3DGS的互补优势，通过双向引导，实现高效的光照优化和高质量的几何重建。
  3. 实验结果表明，GS-ROR$^2$方法能够有效地去除伪影，并生成高质量的网格模型，尤其是在处理反射物体时表现出色。

📝 摘要（中文）

本文提出了一种名为GS-ROR$^2$的方法，用于反射物体的可重光照和高质量三维重建。该方法通过双向引导三维高斯溅射(3DGS)和符号距离场(SDF)，互补彼此的优势。具体来说，利用SDF辅助高斯溅射，实现高效的光照模型优化；同时，利用高斯溅射引导SDF增强，实现高质量的几何重建。该方法通过混合高斯和SDF之间的深度和法线互监督，避免了SDF昂贵的体渲染。此外，还提出了一种SDF感知的剪枝策略，去除远离SDF表面的高斯离群点，避免浮动伪影。最后，利用高斯溅射的混合法线来微调SDF，进一步提供高质量的网格模型。实验表明，该方法在仅增加17%训练时间的情况下，能够为反射物体提供高质量的网格模型。

🔬 方法详解

问题定义：现有基于3DGS的方法在反射物体的可重光照和几何重建方面存在困难。3DGS虽然渲染速度快，但其不连续的表示使得几何约束困难，导致重建质量不高，尤其是在处理反射物体时。而基于SDF的方法虽然能提供鲁棒的几何重建，但体渲染计算量大，训练速度慢，且难以捕捉精细的几何细节。

核心思路：GS-ROR$^2$的核心思路是利用3DGS和SDF的互补优势，通过双向引导，实现高效且高质量的重建。具体来说，使用SDF辅助3DGS进行光照优化，并使用3DGS引导SDF进行几何增强，从而克服各自的缺点。

技术框架：GS-ROR$^2$包含两个主要模块：SDF辅助的高斯溅射和高斯溅射引导的SDF增强。首先，通过SDF辅助的高斯溅射模块，利用SDF提供的几何信息约束高斯溅射的优化，实现高效的光照模型学习。然后，通过高斯溅射引导的SDF增强模块，利用高斯溅射提供的法线信息微调SDF，进一步提升几何重建的质量。

关键创新：该方法最重要的创新点在于双向引导机制。一方面，利用SDF的几何信息辅助高斯溅射的光照优化，避免了昂贵的体渲染；另一方面，利用高斯溅射的法线信息微调SDF，提升了几何重建的质量。此外，SDF感知的剪枝策略也是一个重要的创新，能够有效地去除高斯离群点，避免浮动伪影。

关键设计：在SDF辅助的高斯溅射模块中，关键在于深度和法线的互监督，通过最小化混合高斯和SDF之间的深度和法线差异，实现几何约束。SDF感知的剪枝策略通过设定距离阈值，移除远离SDF表面的高斯点。在高斯溅射引导的SDF增强模块中，利用高斯溅射的混合法线作为SDF的法线先验，通过最小化法线差异来微调SDF。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GS-ROR$^2$方法能够有效地重建反射物体的几何形状和光照效果。通过SDF辅助的高斯溅射，实现了高效的光照优化，避免了昂贵的体渲染。同时，通过高斯溅射引导的SDF增强，进一步提升了几何重建的质量。在增加17%训练时间的情况下，该方法能够提供高质量的网格模型，显著优于现有的方法。

🎯 应用场景

GS-ROR$^2$在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于创建高质量的、可交互的3D模型，尤其是在需要精确几何和真实光照效果的场景中，例如产品展示、虚拟试穿、以及各种需要逼真渲染的模拟应用。该方法能够提升用户体验，并降低3D内容制作的成本。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has shown a powerful capability for novel view synthesis due to its detailed expressive ability and highly efficient rendering speed. Unfortunately, creating relightable 3D assets and reconstructing faithful geometry with 3DGS is still problematic, particularly for reflective objects, as its discontinuous representation raises difficulties in constraining geometries. Volumetric signed distance field (SDF) methods provide robust geometry reconstruction, while the expensive ray marching hinders its real-time application and slows the training. Besides, these methods struggle to capture sharp geometric details. To this end, we propose to guide 3DGS and SDF bidirectionally in a complementary manner, including an SDF-aided Gaussian splatting for efficient optimization of the relighting model and a GS-guided SDF enhancement for high-quality geometry reconstruction. At the core of our SDF-aided Gaussian splatting is the mutual supervision of the depth and normal between blended Gaussians and SDF, which avoids the expensive volume rendering of SDF. Thanks to this mutual supervision, the learned blended Gaussians are well-constrained with a minimal time cost. As the Gaussians are rendered in a deferred shading mode, the alpha-blended Gaussians are smooth, while individual Gaussians may still be outliers, yielding floater artifacts. Therefore, we introduce an SDF-aware pruning strategy to remove Gaussian outliers located distant from the surface defined by SDF, avoiding floater issue. This way, our GS framework provides reasonable normal and achieves realistic relighting, while the mesh from depth is still problematic. Therefore, we design a GS-guided SDF refinement, which utilizes the blended normal from Gaussians to finetune SDF. With this enhancement, our method can further provide high-quality meshes for reflective objects at the cost of 17% extra training time.