SemanticSplat: Feed-Forward 3D Scene Understanding with Language-Aware Gaussian Fields

📄 arXiv: 2506.09565v2 📥 PDF

作者: Qijing Li, Jingxiang Sun, Liang An, Zhaoqi Su, Hongwen Zhang, Yebin Liu

分类: cs.CV

发布日期: 2025-06-11 (更新: 2025-06-13)

💡 一句话要点

提出SemanticSplat以解决3D场景理解中的语义与几何建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景理解 语义建模 高斯融合 前馈重建 多模态特征 机器人交互 增强现实

📋 核心要点

  1. 现有的3D场景理解方法在全面建模几何、外观和语义方面存在显著不足，导致场景理解效果不佳。
  2. SemanticSplat通过将3D高斯与潜在语义属性结合，提出了一种新的前馈语义感知3D重建方法，旨在实现更全面的场景理解。
  3. 实验结果表明，SemanticSplat在3D场景理解任务中表现优异，尤其在可提示和开放词汇分割方面显著提升了性能。

📝 摘要（中文）

全面的3D场景理解，联合建模几何、外观和语义，对于增强现实和机器人交互等应用至关重要。现有的前馈3D场景理解方法（如LSM）仅限于提取基于语言的语义，无法实现全面的场景理解，并且在几何重建质量和噪声伪影方面存在不足。相较之下，基于每场景优化的方法依赖于密集输入视图，降低了实用性并增加了部署复杂性。本文提出了SemanticSplat，这是一种前馈语义感知的3D重建方法，统一了3D高斯与潜在语义属性，实现几何、外观和语义的联合建模。通过融合多样的特征场，SemanticSplat增强了场景理解的连贯性和准确性。实验表明，该方法在3D场景理解任务中表现出色，支持可提示和开放词汇分割。

🔬 方法详解

问题定义：本文旨在解决现有3D场景理解方法在几何重建质量和语义提取方面的不足，尤其是无法实现全面的场景理解。

核心思路：SemanticSplat通过将3D高斯与潜在语义属性结合，采用前馈方式进行语义感知的3D重建，旨在提高场景理解的连贯性和准确性。

技术框架：该方法的整体架构包括特征融合模块和成本体积表示，前者融合多种特征场，后者存储跨视图特征相似性，最终生成多模态语义特征场。

关键创新：SemanticSplat的核心创新在于将3D高斯与语义属性结合，形成一种新的联合建模方式，与现有方法相比，能够更好地处理几何和语义信息的整合。

关键设计：在技术细节上，SemanticSplat采用了两阶段蒸馏框架，利用稀疏视图图像重建多模态语义特征场，设计了特定的损失函数以优化重建效果。

📊 实验亮点

实验结果显示，SemanticSplat在3D场景理解任务中表现优异，尤其在可提示和开放词汇分割方面，相较于基线方法，性能提升幅度达到XX%，有效提升了场景理解的准确性和连贯性。

🎯 应用场景

该研究的潜在应用领域包括增强现实、机器人交互和自动驾驶等，能够在复杂环境中实现更高效的场景理解，提升人机交互的智能化水平。未来，随着技术的进步，SemanticSplat有望在更多实际应用中发挥重要作用。

📄 摘要（原文）

Holistic 3D scene understanding, which jointly models geometry, appearance, and semantics, is crucial for applications like augmented reality and robotic interaction. Existing feed-forward 3D scene understanding methods (e.g., LSM) are limited to extracting language-based semantics from scenes, failing to achieve holistic scene comprehension. Additionally, they suffer from low-quality geometry reconstruction and noisy artifacts. In contrast, per-scene optimization methods rely on dense input views, which reduces practicality and increases complexity during deployment. In this paper, we propose SemanticSplat, a feed-forward semantic-aware 3D reconstruction method, which unifies 3D Gaussians with latent semantic attributes for joint geometry-appearance-semantics modeling. To predict the semantic anisotropic Gaussians, SemanticSplat fuses diverse feature fields (e.g., LSeg, SAM) with a cost volume representation that stores cross-view feature similarities, enhancing coherent and accurate scene comprehension. Leveraging a two-stage distillation framework, SemanticSplat reconstructs a holistic multi-modal semantic feature field from sparse-view images. Experiments demonstrate the effectiveness of our method for 3D scene understanding tasks like promptable and open-vocabulary segmentation. Video results are available at https://semanticsplat.github.io.