Neural Signed Distance Function Inference through Splatting 3D Gaussians Pulled on Zero-Level Set

📄 arXiv: 2410.14189v1 📥 PDF

作者: Wenyuan Zhang, Yu-Shen Liu, Zhizhong Han

分类: cs.CV

发布日期: 2024-10-18

备注: Accepted by NeurIPS 2024. Project page: https://wen-yuan-zhang.github.io/GS-Pull/

💡 一句话要点

提出基于3D高斯溅射和神经SDF的表面重建方法，解决离散、稀疏和漂移问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经有符号距离函数 3D高斯溅射 多视角重建 神经渲染 表面重建

📋 核心要点

  1. 传统方法难以直接从3D高斯溅射中推断SDF，因为3D高斯的离散性、稀疏性和偏离表面漂移。
  2. 提出一种将3DGS与神经SDF学习相结合的方法，利用神经拉动将3D高斯对齐到SDF零水平集。
  3. 通过联合优化3D高斯和神经SDF，恢复了更准确、平滑和完整的表面，并在基准测试中超越了现有技术。

📝 摘要（中文）

本文提出了一种通过3D高斯溅射（3DGS）推断有符号距离函数（SDF）的方法，用于多视角表面重建。由于3D高斯的离散性、稀疏性和偏离表面漂移等问题，直接使用3DGS进行SDF推断存在困难。为了解决这些问题，本文将3DGS与神经SDF的学习无缝结合。核心思想是通过多视角一致性更有效地约束SDF的推断。为此，使用神经拉动（neural pulling）将3D高斯动态对齐到神经SDF的零水平集上，然后通过可微光栅化渲染对齐的3D高斯。同时，通过将相邻空间拉向拉动的3D高斯来更新神经SDF，从而逐步细化表面附近的有符号距离场。通过可微拉动和溅射，利用RGB和几何约束联合优化3D高斯和神经SDF，从而恢复更准确、平滑、完整的表面以及更多的几何细节。数值和视觉比较表明，本文方法优于现有技术水平。

🔬 方法详解

问题定义：论文旨在解决多视角表面重建中，如何利用3D高斯溅射（3DGS）有效地推断有符号距离函数（SDF）的问题。现有的基于3DGS的方法在SDF推断方面存在困难，主要由于3D高斯的离散性、稀疏性以及偏离真实表面的漂移现象，导致SDF的精度和完整性受到影响。

核心思路：论文的核心思路是通过多视角一致性来更有效地约束SDF的推断过程。具体而言，通过一种称为“神经拉动”（neural pulling）的技术，将3D高斯动态地对齐到神经SDF的零水平集上。这样做的目的是将3D高斯更紧密地约束在重建的表面附近，从而提高SDF的准确性。同时，通过将相邻空间拉向这些对齐的3D高斯，来更新和细化神经SDF，从而逐步改善表面附近的距离场。

技术框架：整体框架包含以下几个主要步骤：1) 初始化3D高斯；2) 使用神经拉动将3D高斯对齐到神经SDF的零水平集；3) 通过可微光栅化渲染对齐的3D高斯，生成图像；4) 通过将相邻空间拉向拉动的3D高斯来更新神经SDF；5) 使用RGB和几何约束联合优化3D高斯和神经SDF。这个过程迭代进行，直到收敛。

关键创新：论文的关键创新在于将3DGS与神经SDF的学习无缝结合，并引入了“神经拉动”的概念。与传统方法不同，该方法不是直接从离散的3D高斯中推断SDF，而是通过动态地将3D高斯对齐到SDF的零水平集，并利用多视角一致性进行约束，从而提高了SDF的精度和鲁棒性。

关键设计：论文的关键设计包括：1) 神经拉动模块，用于将3D高斯拉向SDF的零水平集；2) 可微光栅化模块，用于渲染对齐的3D高斯；3) SDF更新模块，用于将相邻空间拉向拉动的3D高斯，从而细化SDF；4) 损失函数，包括RGB损失和几何损失，用于联合优化3D高斯和神经SDF。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个公开数据集上优于现有的最先进方法。通过数值和视觉比较，证明了该方法能够恢复更准确、平滑和完整的表面，并具有更多的几何细节。具体的性能提升数据在论文中有详细展示。

🎯 应用场景

该研究成果可应用于三维重建、虚拟现实、增强现实、机器人导航等领域。通过更准确、平滑和完整地重建三维表面，可以提升相关应用的用户体验和性能。例如，在虚拟现实中，可以提供更逼真的场景；在机器人导航中，可以提供更精确的环境地图。

📄 摘要（原文）

It is vital to infer a signed distance function (SDF) in multi-view based surface reconstruction. 3D Gaussian splatting (3DGS) provides a novel perspective for volume rendering, and shows advantages in rendering efficiency and quality. Although 3DGS provides a promising neural rendering option, it is still hard to infer SDFs for surface reconstruction with 3DGS due to the discreteness, the sparseness, and the off-surface drift of 3D Gaussians. To resolve these issues, we propose a method that seamlessly merge 3DGS with the learning of neural SDFs. Our key idea is to more effectively constrain the SDF inference with the multi-view consistency. To this end, we dynamically align 3D Gaussians on the zero-level set of the neural SDF using neural pulling, and then render the aligned 3D Gaussians through the differentiable rasterization. Meanwhile, we update the neural SDF by pulling neighboring space to the pulled 3D Gaussians, which progressively refine the signed distance field near the surface. With both differentiable pulling and splatting, we jointly optimize 3D Gaussians and the neural SDF with both RGB and geometry constraints, which recovers more accurate, smooth, and complete surfaces with more geometry details. Our numerical and visual comparisons show our superiority over the state-of-the-art results on the widely used benchmarks.