LangSurf: Language-Embedded Surface Gaussians for 3D Scene Understanding

📄 arXiv: 2412.17635v2 📥 PDF

作者: Hao Li, Roy Qin, Zhengyu Zou, Diqi He, Bohan Li, Bingquan Dai, Dingewn Zhang, Junwei Han

分类: cs.CV

发布日期: 2024-12-23 (更新: 2024-12-24)

备注: \url{https://langsurf.github.io}

💡 一句话要点

LangSurf：用于3D场景理解的语言嵌入表面高斯表示

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景理解 高斯溅射 语言嵌入 语义分割 对比学习

📋 核心要点

  1. 现有方法主要关注从新视角渲染2D特征图，导致3D语言场不精确，存在异常语言特征，无法对齐3D空间中的物体。
  2. LangSurf通过几何监督和对比损失，将语言高斯展平到物体表面，为高斯体分配准确的语言特征，实现语言场与物体表面的精确对齐。
  3. 实验表明，LangSurf在开放词汇的2D和3D语义分割任务上，显著优于现有方法LangSplat，并提升了实例识别、移除和编辑的性能。

📝 摘要（中文）

本文提出了一种语言嵌入表面场（LangSurf），用于精确对齐3D语言场与物体表面，从而实现基于文本查询的精确2D和3D分割，并扩展下游任务，如移除和编辑。LangSurf的核心是一种联合训练策略，它利用几何监督和对比损失将语言高斯展平到物体表面，从而为物体的高斯体分配准确的语言特征。此外，还引入了分层上下文感知模块，以提取图像级别的特征用于上下文信息，然后使用SAM分割的掩码执行分层掩码池化，以获得不同层次的细粒度语言特征。在开放词汇的2D和3D语义分割上的大量实验表明，LangSurf显著优于先前的最先进方法LangSplat。实验结果表明，该方法能够分割3D空间中的物体，从而提高实例识别、移除和编辑的有效性。

🔬 方法详解

问题定义：现有基于高斯溅射的3D场景理解方法，在将语言信息嵌入到3D场景时，主要依赖于从2D图像中提取特征，这导致3D语言场不精确，存在异常值，难以准确对齐3D空间中的物体。此外，使用掩码图像进行特征提取也缺乏必要的上下文信息，导致特征表示不准确。

核心思路：LangSurf的核心思想是将语言特征直接嵌入到物体表面，通过几何监督和对比学习，使得语言特征与物体表面的几何信息对齐。这样可以避免从2D图像提取特征带来的误差累积，并利用上下文信息提升特征的准确性。

技术框架：LangSurf包含两个主要模块：语言嵌入表面场和分层上下文感知模块。语言嵌入表面场负责将语言特征嵌入到3D高斯体的表面，并通过几何监督和对比损失进行优化。分层上下文感知模块用于提取图像级别的上下文信息，并结合SAM分割的掩码进行分层掩码池化，从而获得细粒度的语言特征。整体流程是先使用分层上下文感知模块提取特征，然后将特征嵌入到高斯体表面，最后通过联合训练策略优化语言场。

关键创新：LangSurf的关键创新在于将语言特征直接嵌入到3D高斯体的表面，而不是依赖于从2D图像提取的特征。这种方法可以更准确地对齐3D语言场与物体表面，并利用上下文信息提升特征的准确性。此外，分层上下文感知模块也能够提取更丰富的上下文信息，从而提升分割性能。

关键设计：LangSurf使用了联合训练策略，包括几何监督损失和对比损失。几何监督损失用于约束语言高斯位于物体表面，对比损失用于区分不同物体的语言特征。分层上下文感知模块使用了SAM分割的掩码进行分层掩码池化，从而获得不同层次的细粒度语言特征。具体的损失函数和网络结构细节在论文中有详细描述，但具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LangSurf在开放词汇的2D和3D语义分割任务上取得了显著的性能提升，大幅超越了先前的最先进方法LangSplat。具体性能数据和提升幅度在论文中有详细展示，实验结果表明LangSurf能够更准确地分割3D空间中的物体，并提升实例识别、移除和编辑的性能。这些实验结果充分验证了LangSurf的有效性和优越性。

🎯 应用场景

LangSurf在3D场景理解领域具有广泛的应用前景，例如机器人导航、虚拟现实、增强现实、3D内容创作等。通过精确的3D语义分割，可以实现更智能的场景理解和交互，为下游任务提供更可靠的基础。该研究的潜在价值在于提升3D场景理解的准确性和效率，推动相关技术的发展。

📄 摘要（原文）

Applying Gaussian Splatting to perception tasks for 3D scene understanding is becoming increasingly popular. Most existing works primarily focus on rendering 2D feature maps from novel viewpoints, which leads to an imprecise 3D language field with outlier languages, ultimately failing to align objects in 3D space. By utilizing masked images for feature extraction, these approaches also lack essential contextual information, leading to inaccurate feature representation. To this end, we propose a Language-Embedded Surface Field (LangSurf), which accurately aligns the 3D language fields with the surface of objects, facilitating precise 2D and 3D segmentation with text query, widely expanding the downstream tasks such as removal and editing. The core of LangSurf is a joint training strategy that flattens the language Gaussian on the object surfaces using geometry supervision and contrastive losses to assign accurate language features to the Gaussians of objects. In addition, we also introduce the Hierarchical-Context Awareness Module to extract features at the image level for contextual information then perform hierarchical mask pooling using masks segmented by SAM to obtain fine-grained language features in different hierarchies. Extensive experiments on open-vocabulary 2D and 3D semantic segmentation demonstrate that LangSurf outperforms the previous state-of-the-art method LangSplat by a large margin. As shown in Fig. 1, our method is capable of segmenting objects in 3D space, thus boosting the effectiveness of our approach in instance recognition, removal, and editing, which is also supported by comprehensive experiments. \url{https://langsurf.github.io}.