GURecon: Learning Detailed 3D Geometric Uncertainties for Neural Surface Reconstruction

📄 arXiv: 2412.14939v3 📥 PDF

作者: Zesong Yang, Ru Zhang, Jiale Shi, Zixiang Ai, Boming Zhao, Hujun Bao, Luwei Yang, Zhaopeng Cui

分类: cs.CV

发布日期: 2024-12-19 (更新: 2025-07-21)

备注: Accepted by AAAI 2025. Project page: https://zju3dv.github.io/GURecon/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

GURecon：学习神经表面重建的细粒度3D几何不确定性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 神经表面重建 几何不确定性 在线蒸馏 几何一致性 解耦场 三维重建 质量评估

📋 核心要点

  1. 现有神经表面重建方法难以在缺乏真实几何信息时评估重建质量，这是由于渲染优化和外观几何的纠缠学习所致。
  2. GURecon 通过引入几何不确定性场，并利用在线蒸馏方法，在无需真实几何监督的情况下学习表面的不确定性。
  3. 实验表明，GURecon 能有效建模 3D 几何不确定性，并能提升神经表面重建及增量重建等下游任务的性能。

📝 摘要（中文）

神经表面表示在 novel view synthesis 和 3D 重建领域取得了显著成功。然而，由于其基于渲染的优化过程以及外观和几何形状与光度损失的纠缠学习，在没有 ground truth 网格的情况下评估 3D 重建的几何质量仍然是一个重大挑战。本文提出了一种新的框架，即 GURecon，它基于几何一致性为神经表面建立了几何不确定性场。与依赖于基于渲染的测量方法不同，GURecon 为重建的表面建模了一个连续的 3D 不确定性场，并通过在线蒸馏方法学习，而无需引入真实的几何信息进行监督。此外，为了减轻光照对几何一致性的干扰，学习并利用解耦场来微调不确定性场。在各种数据集上的实验表明，GURecon 在建模 3D 几何不确定性方面具有优越性，并且可以即插即用地扩展到各种神经表面表示，并改进诸如增量重建之类的下游任务。

🔬 方法详解

问题定义：现有神经表面重建方法依赖于渲染损失进行优化，导致外观和几何信息相互纠缠，难以在没有真实几何数据的情况下评估重建质量。此外，光照变化也会影响几何一致性，进一步加剧了评估的难度。

核心思路：GURecon 的核心思路是学习一个连续的 3D 几何不确定性场，该场能够反映重建表面的几何质量。通过在线蒸馏的方式，利用几何一致性作为监督信号，无需真实的几何信息即可训练该不确定性场。解耦光照影响，进一步提升不确定性场的准确性。

技术框架：GURecon 包含以下主要模块：1) 神经表面重建模块：采用现有的神经表面表示方法（如 NeRF、NeuS 等）进行初始的表面重建。2) 几何不确定性场学习模块：基于重建的表面，学习一个连续的 3D 不确定性场，该场的值表示对应位置的几何不确定性。3) 在线蒸馏模块：利用几何一致性作为监督信号，通过在线蒸馏的方式训练不确定性场。4) 解耦场学习模块：学习一个解耦场，用于减轻光照变化对几何一致性的影响，并进一步微调不确定性场。

关键创新：GURecon 的关键创新在于：1) 提出了几何不确定性场的概念，用于量化神经表面重建的几何质量。2) 采用在线蒸馏的方式，利用几何一致性作为监督信号，无需真实几何信息即可训练不确定性场。3) 引入解耦场，减轻光照变化对几何一致性的影响。与现有方法相比，GURecon 能够更准确地评估重建质量，并提升下游任务的性能。

关键设计：GURecon 的关键设计包括：1) 几何一致性损失函数：用于衡量重建表面在不同视角下的一致性，作为在线蒸馏的监督信号。2) 解耦场网络结构：设计一个专门的网络结构，用于学习解耦场，并将其用于微调不确定性场。3) 不确定性场的表示方式：采用连续的 3D 场表示不确定性，能够更精细地反映表面的几何质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GURecon 在多个数据集上进行了实验，结果表明其在建模 3D 几何不确定性方面优于现有方法。例如，在 DTU 数据集上，GURecon 能够更准确地预测重建表面的误差，并显著提升增量重建的性能。此外，GURecon 具有良好的泛化能力，可以即插即用地扩展到各种神经表面表示。

🎯 应用场景

GURecon 具有广泛的应用前景，可用于评估和改进神经表面重建的质量，例如在自动驾驶、机器人导航、虚拟现实等领域，可以提高三维场景理解的准确性和可靠性。此外，该方法还可以应用于增量重建等下游任务，提升重建的效率和精度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Neural surface representation has demonstrated remarkable success in the areas of novel view synthesis and 3D reconstruction. However, assessing the geometric quality of 3D reconstructions in the absence of ground truth mesh remains a significant challenge, due to its rendering-based optimization process and entangled learning of appearance and geometry with photometric losses. In this paper, we present a novel framework, i.e, GURecon, which establishes a geometric uncertainty field for the neural surface based on geometric consistency. Different from existing methods that rely on rendering-based measurement, GURecon models a continuous 3D uncertainty field for the reconstructed surface, and is learned by an online distillation approach without introducing real geometric information for supervision. Moreover, in order to mitigate the interference of illumination on geometric consistency, a decoupled field is learned and exploited to finetune the uncertainty field. Experiments on various datasets demonstrate the superiority of GURecon in modeling 3D geometric uncertainty, as well as its plug-and-play extension to various neural surface representations and improvement on downstream tasks such as incremental reconstruction. The code and supplementary material are available on the project website: https://zju3dv.github.io/GURecon/.