SeeGround: See and Ground for Zero-Shot Open-Vocabulary 3D Visual Grounding

📄 arXiv: 2412.04383v2 📥 PDF

作者: Rong Li, Shijie Li, Lingdong Kong, Xulei Yang, Junwei Liang

分类: cs.CV, cs.RO

发布日期: 2024-12-05 (更新: 2025-05-29)

备注: CVPR 2025; 21 pages, 10 figures, 10 tables; Code at https://seeground.github.io/

💡 一句话要点

提出SeeGround以解决零样本开放词汇3D视觉定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉定位 零样本学习 视觉-语言模型 增强现实 机器人导航

📋 核心要点

  1. 现有3D视觉定位方法依赖于标注数据和固定类别，导致可扩展性差。
  2. SeeGround框架通过结合2D视觉-语言模型，实现了零样本3D视觉定位，提升了适应性。
  3. 实验结果表明，SeeGround在ScanRefer和Nr3D上分别提升了7.7%和7.1%，超越了现有最优方法。

📝 摘要（中文）

3D视觉定位（3DVG）旨在根据文本描述在3D场景中定位物体，这对增强现实和机器人等应用至关重要。传统的3DVG方法依赖于标注的3D数据集和预定义的物体类别，限制了其可扩展性和适应性。为了解决这些问题，本文提出了SeeGround，一个零样本3DVG框架，利用在大规模2D数据上训练的2D视觉-语言模型（VLMs）。SeeGround将3D场景表示为查询对齐的渲染图像和空间丰富的文本描述的混合，弥合了3D数据与2D-VLM输入格式之间的差距。通过在ScanRefer和Nr3D上的广泛实验，我们的方法在零样本方法中表现优异，超越了弱监督方法，并与一些完全监督的方法相媲美。

🔬 方法详解

问题定义：本文解决的是如何在没有标注数据和固定类别的情况下，进行有效的3D视觉定位。现有方法依赖于大量标注数据，限制了其在新场景中的应用。

核心思路：SeeGround框架的核心思想是利用2D视觉-语言模型（VLMs）处理3D场景，通过将3D场景表示为查询对齐的渲染图像和文本描述，克服传统方法的局限。

技术框架：SeeGround的整体架构包括两个主要模块：视角适应模块和融合对齐模块。视角适应模块动态选择与查询相关的视点进行图像渲染，而融合对齐模块则将2D图像与3D空间描述结合，以增强物体定位的准确性。

关键创新：本文的主要创新在于提出了将2D VLMs与3D视觉定位结合的框架，首次实现了零样本的开放词汇3D视觉定位，显著提升了定位的灵活性和准确性。

关键设计：在设计中，视角适应模块采用了动态视点选择策略，确保渲染图像与查询的相关性；融合对齐模块则通过特定的损失函数优化2D和3D信息的结合，提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ScanRefer和Nr3D数据集上的实验结果显示，SeeGround在零样本3D视觉定位任务中分别提升了7.7%和7.1%的性能，超越了现有的最优方法，展示了其在复杂3DVG任务中的有效性和优势。

🎯 应用场景

SeeGround的研究成果在增强现实、机器人导航和智能监控等领域具有广泛的应用潜力。通过实现零样本的3D视觉定位，该框架能够在未知环境中快速适应并定位物体，提升了系统的智能化水平和实用性。未来，SeeGround有望推动更多基于视觉的智能应用的发展。

📄 摘要（原文）

3D Visual Grounding (3DVG) aims to locate objects in 3D scenes based on textual descriptions, essential for applications like augmented reality and robotics. Traditional 3DVG approaches rely on annotated 3D datasets and predefined object categories, limiting scalability and adaptability. To overcome these limitations, we introduce SeeGround, a zero-shot 3DVG framework leveraging 2D Vision-Language Models (VLMs) trained on large-scale 2D data. SeeGround represents 3D scenes as a hybrid of query-aligned rendered images and spatially enriched text descriptions, bridging the gap between 3D data and 2D-VLMs input formats. We propose two modules: the Perspective Adaptation Module, which dynamically selects viewpoints for query-relevant image rendering, and the Fusion Alignment Module, which integrates 2D images with 3D spatial descriptions to enhance object localization. Extensive experiments on ScanRefer and Nr3D demonstrate that our approach outperforms existing zero-shot methods by large margins. Notably, we exceed weakly supervised methods and rival some fully supervised ones, outperforming previous SOTA by 7.7% on ScanRefer and 7.1% on Nr3D, showcasing its effectiveness in complex 3DVG tasks.