MGSR: 2D/3D Mutual-boosted Gaussian Splatting for High-fidelity Surface Reconstruction under Various Light Conditions

📄 arXiv: 2503.05182v2 📥 PDF

作者: Qingyuan Zhou, Yuehu Gong, Weidong Yang, Jiaze Li, Yeqi Luo, Baixin Xu, Shuhao Li, Ben Fei, Ying He

分类: cs.CV

发布日期: 2025-03-07 (更新: 2025-07-22)

备注: Accepted at ICCV'25

🔗 代码/项目: GITHUB

💡 一句话要点

提出MGSR，通过2D/3D高斯溅射互增强，实现各种光照条件下高保真表面重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 表面重建 novel view synthesis 光照分解 2D/3D互增强

📋 核心要点

  1. 基于高斯溅射的渲染方法在复杂光照下表现不佳，且难以生成精确的表面，而基于高斯溅射的重建方法通常牺牲渲染质量。
  2. MGSR通过2D-GS和3D-GS分支的互增强，利用2D-GS提供精确几何信息，指导3D-GS进行光照分解，从而提升渲染质量和重建精度。
  3. MGSR在合成和真实数据集上均表现出强大的渲染和表面重建性能，证明了其在复杂光照条件下的有效性。

📝 摘要（中文）

本文提出了一种用于表面重建的2D/3D互增强高斯溅射方法（MGSR），旨在提升渲染质量和3D重建精度。MGSR包含两个分支：2D-GS分支擅长表面重建，为3D-GS分支提供精确的几何信息；3D-GS分支利用该几何信息，采用几何引导的光照分解模块，捕获反射和透射分量，从而在各种光照条件下实现逼真的渲染。2D-GS分支也使用透射分量作为监督，实现高保真表面重建。在优化过程中，2D-GS和3D-GS分支交替优化，相互监督。在此之前，每个分支完成一个独立的预热阶段，并采用早停策略来降低计算成本。在合成和真实世界数据集上，MGSR在对象和场景级别上都表现出强大的渲染和表面重建性能。

🔬 方法详解

问题定义：现有基于高斯溅射的方法在 novel view synthesis (NVS) 和 surface reconstruction (SR) 任务中通常存在trade-off。渲染方法难以处理复杂光照，重建方法牺牲渲染质量。因此，如何同时提升渲染质量和重建精度是一个挑战。

核心思路：MGSR的核心思路是利用2D-GS和3D-GS的互补优势，通过相互监督和增强，实现高质量的渲染和精确的表面重建。2D-GS擅长几何重建，3D-GS擅长光照建模，二者结合可以克服各自的局限性。

技术框架：MGSR包含两个主要分支：2D-GS分支和3D-GS分支。首先，两个分支分别进行独立的预热阶段，并采用早停策略。然后，两个分支进行交替优化，2D-GS分支利用透射分量进行监督，提升重建精度；3D-GS分支利用2D-GS提供的几何信息进行光照分解，提升渲染质量。

关键创新：MGSR的关键创新在于2D/3D高斯溅射的互增强机制。通过2D-GS提供精确几何信息，指导3D-GS进行光照分解，并反过来利用3D-GS的光照信息提升2D-GS的重建精度，打破了渲染和重建之间的trade-off。

关键设计：MGSR的关键设计包括：1) 几何引导的光照分解模块，用于将光照分解为反射和透射分量；2) 基于透射分量的2D-GS监督，用于提升重建精度；3) 2D-GS和3D-GS的交替优化策略，实现相互监督和增强。具体的参数设置和网络结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MGSR在多个合成和真实数据集上进行了评估，结果表明其在渲染质量和表面重建精度方面均优于现有方法。具体的性能数据和对比基线在摘要中未提及，属于未知信息。但论文强调了MGSR在对象和场景级别上都表现出强大的性能。

🎯 应用场景

MGSR具有广泛的应用前景，包括虚拟现实、增强现实、机器人导航、三维地图构建、文物数字化保护等领域。该方法能够在高精度重建三维场景的同时，保证高质量的渲染效果，为用户提供更加逼真的沉浸式体验。未来，该技术有望应用于自动驾驶、工业检测等领域。

📄 摘要（原文）

Novel view synthesis (NVS) and surface reconstruction (SR) are essential tasks in 3D Gaussian Splatting (3D-GS). Despite recent progress, these tasks are often addressed independently, with GS-based rendering methods struggling under diverse light conditions and failing to produce accurate surfaces, while GS-based reconstruction methods frequently compromise rendering quality. This raises a central question: must rendering and reconstruction always involve a trade-off? To address this, we propose MGSR, a 2D/3D Mutual-boosted Gaussian splatting for Surface Reconstruction that enhances both rendering quality and 3D reconstruction accuracy. MGSR introduces two branches--one based on 2D-GS and the other on 3D-GS. The 2D-GS branch excels in surface reconstruction, providing precise geometry information to the 3D-GS branch. Leveraging this geometry, the 3D-GS branch employs a geometry-guided illumination decomposition module that captures reflected and transmitted components, enabling realistic rendering under varied light conditions. Using the transmitted component as supervision, the 2D-GS branch also achieves high-fidelity surface reconstruction. Throughout the optimization process, the 2D-GS and 3D-GS branches undergo alternating optimization, providing mutual supervision. Prior to this, each branch completes an independent warm-up phase, with an early stopping strategy implemented to reduce computational costs. We evaluate MGSR on a diverse set of synthetic and real-world datasets, at both object and scene levels, demonstrating strong performance in rendering and surface reconstruction. Code is available at https://github.com/TsingyuanChou/MGSR.