SplatSDF: Boosting SDF-NeRF via Architecture-Level Fusion with Gaussian Splats

📄 arXiv: 2411.15468 📥 PDF

作者: Runfa Blark Li, Keito Suzuki, Bang Du, Ki Myung Brian Lee, Nikolay Atanasov, Truong Nguyen

分类: cs.CV, cs.GR, cs.RO

发布日期: 2026-02-28

💡 一句话要点

SplatSDF：通过与高斯溅射架构级融合加速SDF-NeRF训练与收敛

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SDF-NeRF 3D高斯溅射 神经辐射场 场景重建 架构融合

📋 核心要点

  1. SDF-NeRF虽然能提供高质量渲染和几何推理，但训练速度慢和收敛性差限制了其应用。
  2. SplatSDF通过架构级融合3D高斯溅射，直接将预训练的3DGS信息注入SDF-NeRF，加速训练。
  3. 实验表明，SplatSDF比现有方法收敛速度快3倍，并在几何精度和渲染质量上取得了显著提升。

📝 摘要（中文）

有符号距离-辐射场(SDF-NeRF)是一种有前景的环境表示方法，它既能提供逼真的渲染，又能进行几何推理，例如用于避碰的邻近查询。然而，SDF-NeRF的训练速度慢和收敛性差阻碍了它们在实际机器人系统中的应用。我们提出了SplatSDF，一种新颖的SDF-NeRF架构，它利用3D高斯溅射(3DGS)加速收敛，3DGS可以被快速预训练。与先前方法不同，SplatSDF没有在单独的3DGS和SDF-NeRF模型之间引入一致性损失，而是通过在架构层面上直接融合3DGS，在训练期间将其作为SDF-NeRF的输入。这是通过一种新颖的稀疏3DGS融合策略实现的，该策略将3DGS的神经嵌入注入到对象表面周围的SDF-NeRF中，同时允许在没有3DGS的情况下进行推理，以实现最小的操作。实验结果表明，SplatSDF比最佳基线快3倍地收敛到相同的几何精度，并且在倒角距离和峰值信噪比方面优于最先进的SDF-NeRF方法，而基于一致性损失的方法实际上提供的增益有限。我们还提出了将梯度和Hessian步骤加速3倍的计算技术。我们希望这些改进将有助于在实际系统中部署SDF-NeRF。

🔬 方法详解

问题定义：SDF-NeRF方法在场景重建和渲染方面表现出色，但其训练过程通常非常耗时，收敛速度慢，这限制了它在需要快速响应的实际机器人系统中的应用。现有方法尝试通过引入额外的损失函数来约束 SDF-NeRF 和其他表示（如3D高斯溅射）之间的一致性，但效果有限。

核心思路：SplatSDF的核心思想是在架构层面将3D高斯溅射（3DGS）与SDF-NeRF融合。利用3DGS快速预训练的优势，将其作为SDF-NeRF的输入，从而引导SDF-NeRF更快地学习场景的几何结构。这种架构级的融合避免了传统方法中一致性损失带来的训练不稳定和效果不佳的问题。

技术框架：SplatSDF的整体框架包括以下几个关键步骤：1) 使用3DGS快速预训练场景表示；2) 将预训练的3DGS信息通过稀疏融合策略注入到SDF-NeRF中，具体来说，提取3DGS的神经嵌入，并将其作为SDF-NeRF的输入特征；3) 训练SDF-NeRF，利用注入的3DGS信息加速收敛；4) 在推理阶段，可以选择性地移除3DGS分支，以实现更高效的推理。

关键创新：SplatSDF的关键创新在于架构级的融合策略。与以往方法中通过损失函数约束不同表示的一致性不同，SplatSDF直接将3DGS作为SDF-NeRF的输入，从而更有效地利用了3DGS的先验知识。此外，稀疏融合策略只在对象表面附近注入3DGS信息，避免了全局融合带来的计算负担。

关键设计：SplatSDF的关键设计包括：1) 稀疏3DGS融合策略，只在对象表面附近注入3DGS信息，通过距离截断实现；2) 3DGS神经嵌入的提取方式，使用MLP将3DGS的属性（如位置、方差、颜色）映射到高维特征空间；3) 针对梯度和Hessian计算的优化，通过计算技巧加速训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SplatSDF在实验中表现出色，相较于最佳基线方法，收敛速度提升了3倍，在倒角距离和峰值信噪比等指标上均优于现有SDF-NeRF方法。与基于一致性损失的方法相比，SplatSDF取得了更显著的性能提升。此外，论文还提出了加速梯度和Hessian计算的技术，进一步提高了训练效率。

🎯 应用场景

SplatSDF在机器人导航、场景重建、虚拟现实等领域具有广泛的应用前景。它可以用于创建精确且高效的环境表示，从而提高机器人在复杂环境中的导航和避障能力。此外，SplatSDF还可以用于生成高质量的虚拟现实场景，为用户提供更逼真的沉浸式体验。该方法有望推动SDF-NeRF在实际系统中的部署。

📄 摘要（原文）

Signed distance-radiance field (SDF-NeRF) is a promising environment representation that offers both photo-realistic rendering and geometric reasoning such as proximity queries for collision avoidance. However, the slow training speed and convergence of SDF-NeRF hinder their use in practical robotic systems. We propose SplatSDF, a novel SDF-NeRF architecture that accelerates convergence using 3D Gaussian splats (3DGS), which can be quickly pre-trained. Unlike prior approaches that introduce a consistency loss between separate 3DGS and SDF-NeRF models, SplatSDF directly fuses 3DGS at an architectural level by consuming it as an input to SDF-NeRF during training. This is achieved using a novel sparse 3DGS fusion strategy that injects neural embeddings of 3DGS into SDF-NeRF around the object surface, while also permitting inference without 3DGS for minimal operation. Experimental results show SplatSDF achieves 3X faster convergence to the same geometric accuracy than the best baseline, and outperforms state-of-the-art SDF-NeRF methods in terms of chamfer distance and peak signal to noise ratio, unlike consistency loss-based approaches that in fact provide limited gains. We also present computational techniques for accelerating gradient and Hessian steps by 3X. We expect these improvements will contribute to deploying SDF-NeRF on practical systems.