CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection

📄 arXiv: 2310.02960v1 📥 PDF

作者: Yang Cao, Yihan Zeng, Hang Xu, Dan Xu

分类: cs.CV

发布日期: 2023-10-04

备注: Accepted by NeurIPS 2023. Project Page: https://yangcaoai.github.io/publications/CoDA.html

💡 一句话要点

提出CoDA以解决开放词汇3D物体检测中的新物体定位与分类问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 3D物体检测 跨模态对齐 新物体发现 深度学习

📋 核心要点

  1. 开放词汇3D物体检测面临新物体的定位和分类问题，现有方法在这方面的研究较少。
  2. 本文提出了一种统一框架CoDA，通过3D新物体发现和跨模态对齐模块同时解决定位和分类问题。
  3. 在SUN-RGBD和ScanNet数据集上进行的实验显示，CoDA在性能上显著优于现有方法，mAP提升达80%。

📝 摘要（中文）

开放词汇3D物体检测（OV-3DDet）旨在从3D场景中检测任意类别的物体，但在文献中鲜有探讨。本文同时解决了两个基本问题：新物体的定位和分类。我们提出了一种有效的3D新物体发现策略，利用3D盒几何先验和2D语义开放词汇先验生成新物体的伪标签。同时，开发了基于发现的新物体的跨模态对齐模块，以对齐3D点云与图像/文本模态之间的特征空间。通过在两个挑战性数据集（SUN-RGBD和ScanNet）上的广泛实验，证明了我们方法的有效性，并在最佳替代方法上显著提高了80%的mAP。

🔬 方法详解

问题定义：本文旨在解决开放词汇3D物体检测中的新物体定位与分类问题。现有方法通常依赖于有限的基类，难以有效处理新类别物体的检测。

核心思路：我们提出的CoDA框架通过结合3D几何先验和2D语义信息，生成新物体的伪标签，并通过跨模态对齐模块提升特征对齐效果，从而实现新物体的有效定位与分类。

技术框架：CoDA框架主要包括两个模块：3D新物体发现模块和跨模态对齐模块。前者负责生成新物体的伪标签，后者则对齐3D点云与图像/文本特征空间，二者相辅相成。

关键创新：本研究的创新在于将新物体发现与跨模态对齐联合学习，使得两者能够相互促进，显著提升了检测性能。这种协同学习的方式在现有方法中尚属首次。

关键设计：在模型设计中，我们采用了类无关和类区分的对齐策略，结合基类和新发现物体的特征，使用特定的损失函数来优化对齐效果，确保模型在有限基类下仍能有效学习新物体特征。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

在SUN-RGBD和ScanNet数据集上的实验结果表明，CoDA方法在mAP上相较于最佳替代方法提升了80%，显示出其在开放词汇3D物体检测中的显著优势。这一成果不仅验证了方法的有效性，也为相关领域的研究提供了新的思路。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在自动驾驶、机器人导航和增强现实等领域。通过提升3D物体检测的开放性和灵活性，CoDA能够帮助系统更好地识别和分类未知物体，增强智能系统的适应能力和实用性。未来，随着数据集和算法的不断进步，CoDA的应用范围有望进一步扩大。

📄 摘要（原文）

Open-vocabulary 3D Object Detection (OV-3DDet) aims to detect objects from an arbitrary list of categories within a 3D scene, which remains seldom explored in the literature. There are primarily two fundamental problems in OV-3DDet, i.e., localizing and classifying novel objects. This paper aims at addressing the two problems simultaneously via a unified framework, under the condition of limited base categories. To localize novel 3D objects, we propose an effective 3D Novel Object Discovery strategy, which utilizes both the 3D box geometry priors and 2D semantic open-vocabulary priors to generate pseudo box labels of the novel objects. To classify novel object boxes, we further develop a cross-modal alignment module based on discovered novel boxes, to align feature spaces between 3D point cloud and image/text modalities. Specifically, the alignment process contains a class-agnostic and a class-discriminative alignment, incorporating not only the base objects with annotations but also the increasingly discovered novel objects, resulting in an iteratively enhanced alignment. The novel box discovery and crossmodal alignment are jointly learned to collaboratively benefit each other. The novel object discovery can directly impact the cross-modal alignment, while a better feature alignment can, in turn, boost the localization capability, leading to a unified OV-3DDet framework, named CoDA, for simultaneous novel object localization and classification. Extensive experiments on two challenging datasets (i.e., SUN-RGBD and ScanNet) demonstrate the effectiveness of our method and also show a significant mAP improvement upon the best-performing alternative method by 80%. Codes and pre-trained models are released on the project page.