GoDeep: Annotation-Free Open-Vocabulary 3D Scene Understanding via Language-Space Lifting

📄 arXiv: 2609.09082v1 📥 PDF

作者: Thodoris Betsas, Anastasios Doulamis, Andreas Georgopoulos

分类: cs.CV, cs.AI

发布日期: 2026-09-08

💡 一句话要点

提出GoDeep以解决无注释开放词汇3D场景理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景理解 开放词汇 语义分割 视觉-语言模型 无注释学习 超出词汇对象 可解释性

📋 核心要点

  1. 现有的开放词汇3D语义分割方法依赖于大量的3D训练数据和专用编码器，限制了其应用范围。
  2. 本文提出的GoDeep方法利用视觉-语言模型生成结构化描述，直接在语言嵌入空间中处理，无需3D训练数据。
  3. 在ScanNet++和文化遗产基准测试中，GoDeep展示了优越的性能，尤其在处理超出词汇的对象时表现突出。

📝 摘要（中文）

开放词汇的3D语义分割方法通常需要将CLIP特征提升到3D空间，这要求大量的3D训练数据和专用的3D编码器。本文提出了一种新方法，利用视觉-语言模型作为翻译器，直接在语言嵌入空间中生成结构化的实体级描述，无需3D训练语料或编码器。在ScanNet++数据集上，该方法与强大的无注释基线模型竞争，并在文化遗产基准测试中显示出语言空间嵌入对物理内容的更高保真度。GoDeep还能够在场景中定位真正的超出词汇（OOV）对象，所有过程均无需2D-3D注释，且每个表示保持离散文本形式，使得预测结果具有可解释性。

🔬 方法详解

问题定义：本文旨在解决开放词汇3D场景理解中的数据依赖问题，现有方法通常需要大量的3D训练数据和特定领域的编码器，限制了其灵活性和适用性。

核心思路：GoDeep方法的核心在于将视觉-语言模型作为翻译器，生成结构化的实体级描述，并在语言嵌入空间中进行处理，从而避免了对3D训练语料的依赖。

技术框架：该方法的整体架构包括三个主要模块：首先，输入图像通过视觉-语言模型生成描述；其次，这些描述在语言嵌入空间中进行投影和聚合；最后，模型直接输出3D场景的语义分割结果。

关键创新：GoDeep的主要创新在于其完全依赖于语言空间嵌入来进行3D场景理解，显著区别于传统方法的3D特征提升方式，提升了对超出词汇对象的处理能力。

关键设计：在设计上，GoDeep采用了启发式加权策略，优先考虑精确的观察结果，并结合可解释性特征，使得每个预测结果都能在点级别上进行解释。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在ScanNet++数据集上，GoDeep的性能与强大的无注释基线模型相当，并在文化遗产基准测试中通过一次系统性的词汇修正逆转了排名，显示出其在处理超出词汇对象时的优势。

🎯 应用场景

GoDeep方法在文化遗产保护、智能监控、虚拟现实等领域具有广泛的应用潜力。其无注释的特性使得在数据稀缺的环境中也能有效进行3D场景理解，推动了相关技术的普及与应用。

📄 摘要（原文）

Open vocabulary 3D semantic segmentation methods typically lift CLIP features into 3D. This embeds points in a joint vision-language space known to behave like a bag-of-words on compositional tasks. Furthermore, even annotation free variants often require a large 3D training corpus and a dedicated 3D encoder per domain. Instead we use a vision-language model purely as a translator. It produces structured, entity-level descriptions of each posed image. These descriptions are grounded, projected, and aggregated directly in a general-purpose, language-only embedding space, with no 3D training corpus or encoder required. On ScanNet++, our pipeline is competitive with strong annotation free baselines trained on ScanNet. On a 5-building cultural heritage benchmark, raw scores initially favor a CLIP-based variant, but a single systematic vocabulary correction reverses this ranking. An effect confirmed by a second, independent correction on a different class, indicating that language-space embeddings track physical content more faithfully. This fidelity extends to genuinely out-of-vocabulary (OOV) objects on ScanNet++ proving that language-space embeddings separate presence from absence objects far more sharply than CLIP-based embeddings do. GoDeep also localize these OOV objects within the scene, all without any 2D-3D annotation. Because every representation remains discrete text, predictions are also explainable at the point level. Finally, exploiting both a heuristic weighting, that favors precise over merely frequent observations and GoDeep's explainability property, we propose an aggregation strategy, as a proof of concept, that favors finer elements localization.