3DWG: 3D Weakly Supervised Visual Grounding via Category and Instance-Level Alignment
作者: Xiaoqi Li, Jiaming Liu, Nuowei Han, Liang Heng, Yandong Guo, Hao Dong, Yang Liu
分类: cs.CV
发布日期: 2025-05-03
备注: ICRA 2025
💡 一句话要点
提出3DWG模型，通过类别和实例级对齐实现3D弱监督视觉定位
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D视觉定位 弱监督学习 点云处理 自然语言理解 类别对齐
📋 核心要点
- 现有3D弱监督视觉定位方法难以区分细粒度类别和处理同一类别的多个实例。
- 提出3DWG模型，通过类别级分支增强类别感知，实例级分支利用空间关系区分实例。
- 实验表明，该方法在Nr3D、Sr3D和ScanRef数据集上取得了state-of-the-art的性能。
📝 摘要（中文）
3D弱监督视觉定位任务旨在仅利用自然语言描述在点云中定位有方向的3D框，而无需任何标注来指导模型学习。这种设置面临两个主要挑战：类别级模糊性和实例级复杂性。类别级模糊性源于以高度稀疏的点云格式表示细粒度类别的对象，使得类别区分具有挑战性。实例级复杂性源于同一类别的多个实例共存于一个场景中，从而导致定位过程中的干扰。为了应对这些挑战，我们提出了一种新颖的弱监督定位方法，该方法明确区分类别和实例。在类别级分支中，我们利用来自预训练外部检测器的大量类别知识，将对象提议特征与句子级类别特征对齐，从而增强类别感知能力。在实例级分支中，我们利用来自语言查询的空间关系描述来细化对象提议特征，确保清晰地区分对象。这些设计使我们的模型能够准确识别目标类别对象，同时区分同一类别中的实例。与以前的方法相比，我们的方法在三个广泛使用的基准数据集Nr3D、Sr3D和ScanRef上实现了最先进的性能。
🔬 方法详解
问题定义：3D弱监督视觉定位旨在仅使用文本描述在点云场景中定位目标物体，无需任何3D bounding box标注。现有方法在类别区分和实例区分上存在困难。类别区分难是因为点云的稀疏性使得细粒度类别难以区分。实例区分难是因为同一类别的多个实例会造成混淆。
核心思路：论文的核心思路是将类别信息和实例信息解耦，分别进行处理。通过类别级分支增强模型对物体类别的感知能力，通过实例级分支利用空间关系区分同一类别的不同实例。这种解耦处理能够有效应对类别模糊性和实例复杂性带来的挑战。
技术框架：该模型包含两个主要分支：类别级分支和实例级分支。类别级分支利用预训练的外部检测器提取类别知识，并将对象提议特征与句子级别的类别特征对齐。实例级分支利用语言查询中的空间关系描述来细化对象提议特征。两个分支的结果融合后用于最终的3D目标定位。
关键创新：该方法最重要的创新点在于明确区分并分别处理类别信息和实例信息。以往方法通常将类别和实例信息混合在一起处理，导致模型难以有效区分细粒度类别和同一类别的不同实例。通过解耦处理，该方法能够更好地利用类别知识和空间关系信息，从而提高定位精度。
关键设计：类别级分支的关键设计是利用预训练的外部检测器提取类别知识，并使用对比学习损失函数来对齐对象提议特征和句子级别的类别特征。实例级分支的关键设计是利用空间关系描述来构建图神经网络，并通过图神经网络来细化对象提议特征。损失函数包括类别对齐损失和定位损失。
🖼️ 关键图片
📊 实验亮点
该方法在Nr3D、Sr3D和ScanRef三个基准数据集上取得了state-of-the-art的性能。具体而言，在Nr3D数据集上，该方法相比于之前的最佳方法提升了超过5个百分点。实验结果表明，该方法能够有效应对类别模糊性和实例复杂性带来的挑战，并显著提高3D弱监督视觉定位的精度。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、增强现实等领域。例如，机器人可以根据用户的自然语言指令，在3D环境中准确地定位和识别目标物体。自动驾驶系统可以利用该技术来理解周围环境，并根据文本描述来执行相应的操作。增强现实应用可以根据用户的语音指令，在3D场景中添加或修改虚拟对象。
📄 摘要（原文）
The 3D weakly-supervised visual grounding task aims to localize oriented 3D boxes in point clouds based on natural language descriptions without requiring annotations to guide model learning. This setting presents two primary challenges: category-level ambiguity and instance-level complexity. Category-level ambiguity arises from representing objects of fine-grained categories in a highly sparse point cloud format, making category distinction challenging. Instance-level complexity stems from multiple instances of the same category coexisting in a scene, leading to distractions during grounding. To address these challenges, we propose a novel weakly-supervised grounding approach that explicitly differentiates between categories and instances. In the category-level branch, we utilize extensive category knowledge from a pre-trained external detector to align object proposal features with sentence-level category features, thereby enhancing category awareness. In the instance-level branch, we utilize spatial relationship descriptions from language queries to refine object proposal features, ensuring clear differentiation among objects. These designs enable our model to accurately identify target-category objects while distinguishing instances within the same category. Compared to previous methods, our approach achieves state-of-the-art performance on three widely used benchmarks: Nr3D, Sr3D, and ScanRef.