Weakly-Supervised 3D Visual Grounding based on Visual Language Alignment

📄 arXiv: 2312.09625v5 📥 PDF

作者: Xiaoxu Xu, Yitian Yuan, Qiudan Zhang, Wenhui Wu, Zequn Jie, Lin Ma, Xu Wang

分类: cs.CV, cs.CL

发布日期: 2023-12-15 (更新: 2025-08-26)

💡 一句话要点

提出基于视觉语言对齐的弱监督3D视觉定位方法3D-VLA

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉定位 弱监督学习 视觉语言模型 点云处理 跨模态对齐

📋 核心要点

  1. 现有3D视觉定位方法依赖大量人工标注的3D bounding box，标注成本高昂。
  2. 3D-VLA利用大规模视觉语言模型和2D-3D对应关系，隐式学习文本和3D点云之间的关联。
  3. 实验表明，3D-VLA在ReferIt3D和ScanRefer数据集上取得了与全监督方法相当甚至更好的性能。

📝 摘要（中文）

本文提出了一种基于视觉语言对齐的弱监督3D视觉定位方法3D-VLA，旨在解决现有3D视觉定位方法需要大量文本查询的边界框标注的问题，这些标注耗时且费力。3D-VLA利用当前大规模视觉语言模型(VLM)在文本和2D图像之间对齐语义的卓越能力，以及2D图像和3D点云之间自然存在的对应关系，从而隐式地构建文本和3D点云之间的对应关系，而无需在训练过程中进行细粒度的框标注。在推理阶段，学习到的文本-3D对应关系将帮助我们将文本查询定位到3D目标对象，即使没有2D图像。据我们所知，这是第一个通过引入大规模视觉语言模型以弱监督方式研究3D视觉定位的工作，在ReferIt3D和ScanRefer数据集上的大量实验表明，我们的3D-VLA实现了与完全监督方法相当甚至更好的结果。

🔬 方法详解

问题定义：3D视觉定位旨在将自然语言查询与3D场景中的目标对象或区域相关联。现有的方法通常需要大量的3D bounding box标注，这既耗时又费力，限制了其在实际场景中的应用。因此，如何在弱监督的条件下实现有效的3D视觉定位是一个重要的挑战。

核心思路：本文的核心思路是利用大规模视觉语言模型(VLM)在文本和2D图像之间强大的语义对齐能力，以及2D图像和3D点云之间天然的对应关系，从而建立文本和3D点云之间的隐式关联。通过这种方式，可以避免直接在3D点云上进行标注，从而实现弱监督学习。

技术框架：3D-VLA方法主要包含以下几个阶段：1) 利用VLM提取文本和2D图像的特征；2) 建立2D图像和3D点云之间的对应关系（例如，通过相机参数）；3) 通过对比学习或其他方法，将文本特征和对应的3D点云特征对齐；4) 在推理阶段，直接利用学习到的文本-3D对应关系进行定位，无需2D图像。

关键创新：该方法最重要的创新点在于利用大规模视觉语言模型和2D-3D对应关系，将3D视觉定位问题转化为一个视觉语言对齐问题，从而实现了弱监督学习。与现有方法相比，该方法不需要3D bounding box标注，大大降低了标注成本。

关键设计：具体的技术细节可能包括：1) 使用预训练的VLM（例如CLIP）提取文本和图像特征；2) 使用点云配准或特征匹配等方法建立2D-3D对应关系；3) 设计合适的损失函数（例如，对比损失）来对齐文本和3D点云特征；4) 使用Transformer或其他网络结构来融合多模态特征。

📊 实验亮点

实验结果表明，3D-VLA在ReferIt3D和ScanRefer数据集上取得了与全监督方法相当甚至更好的性能。例如，在某些指标上，3D-VLA甚至超过了使用完整3D bounding box标注的基线方法。这表明，通过利用大规模视觉语言模型和2D-3D对应关系，可以在弱监督条件下实现有效的3D视觉定位。

🎯 应用场景

该研究成果可应用于机器人导航、智能家居、增强现实等领域。例如，机器人可以通过自然语言指令理解场景中的物体，并执行相应的任务。在智能家居中，用户可以通过语音控制家电设备。在增强现实中，可以根据用户的语言描述，在3D场景中定位和标注物体。该研究降低了3D视觉定位的标注成本，有望推动相关技术的广泛应用。

📄 摘要（原文）

Learning to ground natural language queries to target objects or regions in 3D point clouds is quite essential for 3D scene understanding. Nevertheless, existing 3D visual grounding approaches require a substantial number of bounding box annotations for text queries, which is time-consuming and labor-intensive to obtain. In this paper, we propose 3D-VLA, a weakly supervised approach for 3D visual grounding based on Visual Linguistic Alignment. Our 3D-VLA exploits the superior ability of current large-scale vision-language models (VLMs) on aligning the semantics between texts and 2D images, as well as the naturally existing correspondences between 2D images and 3D point clouds, and thus implicitly constructs correspondences between texts and 3D point clouds with no need for fine-grained box annotations in the training procedure. During the inference stage, the learned text-3D correspondence will help us ground the text queries to the 3D target objects even without 2D images. To the best of our knowledge, this is the first work to investigate 3D visual grounding in a weakly supervised manner by involving large scale vision-language models, and extensive experiments on ReferIt3D and ScanRefer datasets demonstrate that our 3D-VLA achieves comparable and even superior results over the fully supervised methods.