NG-GS: NeRF-Guided 3D Gaussian Splatting Segmentation

📄 arXiv: 2604.14706v1 📥 PDF

作者: Yi He, Tao Wang, Yi Jin, Congyan Lang, Yidong Li, Haibin Ling

分类: cs.CV

发布日期: 2026-04-16

备注: Accepted to CVPR 2026 (Highlight)

🔗 代码/项目: GITHUB

💡 一句话要点

NG-GS：NeRF引导的3D高斯溅射分割，解决边界离散化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 NeRF 语义分割 边界优化 新视角合成

📋 核心要点

  1. 3DGS虽然在高效新视角合成方面表现出色，但由于高斯表示的离散性，对象分割在边界处存在混叠和伪影。
  2. NG-GS通过识别边界模糊高斯、构建连续特征场以及NeRF引导的联合优化，显式地解决了3DGS分割中的边界离散化问题。
  3. 实验表明，NG-GS在NVOS、LERF-OVS和ScanNet等数据集上取得了SOTA性能，尤其在边界mIoU指标上提升显著。

📝 摘要（中文）

本文提出了一种名为NG-GS的新框架，用于在3D高斯溅射（3DGS）中实现高质量的对象分割，该框架显式地解决了边界离散化问题。该方法首先使用掩码方差分析自动识别对象边界上不明确的高斯分布。然后，应用径向基函数（RBF）插值构建空间连续的特征场，并通过多分辨率哈希编码增强，以实现高效的多尺度表示。通过对齐和空间连续性损失，联合优化策略将3DGS与轻量级NeRF模块对齐，确保平滑且一致的分割边界。在NVOS、LERF-OVS和ScanNet基准上的大量实验表明，该方法实现了最先进的性能，并在边界mIoU方面取得了显著提升。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射（3DGS）中对象分割精度不高的问题，尤其是在对象边界处，由于高斯表示的离散性，容易产生混叠和伪影，导致分割不准确。现有方法难以有效处理这种边界离散化问题。

核心思路：论文的核心思路是利用NeRF的连续表示能力来引导3DGS的分割，通过构建空间连续的特征场，并结合NeRF的监督，使得3DGS的分割结果更加平滑和准确。这种方法旨在弥合离散高斯表示和连续空间表示之间的差距。

技术框架：NG-GS框架主要包含以下几个阶段：1) 模糊高斯识别：使用掩码方差分析自动识别位于对象边界上的模糊高斯。2) 连续特征场构建：利用径向基函数（RBF）插值，将离散的高斯特征转换为空间连续的特征场，并使用多分辨率哈希编码进行加速。3) NeRF引导的联合优化：引入一个轻量级的NeRF模块，通过对齐损失和空间连续性损失，将3DGS与NeRF对齐，从而优化分割结果。

关键创新：该方法最重要的创新点在于将NeRF的连续表示能力引入到3DGS的分割任务中，通过联合优化，使得3DGS的分割结果能够受益于NeRF的平滑性和一致性。与现有方法相比，NG-GS显式地解决了边界离散化问题，从而提高了分割精度。

关键设计：在模糊高斯识别阶段，使用掩码方差作为指标来判断高斯是否位于对象边界。在连续特征场构建阶段，RBF插值的核函数和带宽需要仔细选择，以保证特征场的平滑性和准确性。在NeRF引导的联合优化阶段，对齐损失和空间连续性损失的权重需要进行调整，以平衡3DGS和NeRF之间的影响。NeRF模块采用轻量级设计，以减少计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NG-GS在NVOS、LERF-OVS和ScanNet等数据集上取得了显著的性能提升。尤其是在边界mIoU指标上，相较于现有方法有大幅度提高，证明了该方法在解决边界离散化问题上的有效性。实验结果表明，通过NeRF引导的联合优化，可以显著提高3DGS的分割精度。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、虚拟现实/增强现实等领域。高质量的3D场景分割能够帮助自动驾驶系统更准确地识别道路上的障碍物，提升导航系统的精度，并为VR/AR应用提供更逼真的场景理解和交互能力。未来，该技术有望进一步拓展到三维重建、场景编辑等领域。

📄 摘要（原文）

Recent advances in 3D Gaussian Splatting (3DGS) have enabled highly efficient and photorealistic novel view synthesis. However, segmenting objects accurately in 3DGS remains challenging due to the discrete nature of Gaussian representations, which often leads to aliasing and artifacts at object boundaries. In this paper, we introduce NG-GS, a novel framework for high-quality object segmentation in 3DGS that explicitly addresses boundary discretization. Our approach begins by automatically identifying ambiguous Gaussians at object boundaries using mask variance analysis. We then apply radial basis function (RBF) interpolation to construct a spatially continuous feature field, enhanced by multi-resolution hash encoding for efficient multi-scale representation. A joint optimization strategy aligns 3DGS with a lightweight NeRF module through alignment and spatial continuity losses, ensuring smooth and consistent segmentation boundaries. Extensive experiments on NVOS, LERF-OVS, and ScanNet benchmarks demonstrate that our method achieves state-of-the-art performance, with significant gains in boundary mIoU. Code is available at https://github.com/BJTU-KD3D/NG-GS.