Sparse Multiview Open-Vocabulary 3D Detection

📄 arXiv: 2509.15924v1 📥 PDF

作者: Olivier Moliner, Viktor Larsson, Kalle Åström

分类: cs.CV

发布日期: 2025-09-19

备注: ICCV 2025; OpenSUN3D Workshop; Camera ready version

💡 一句话要点

提出一种稀疏多视角开放词汇3D检测方法，无需训练且性能优异

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D目标检测 开放词汇 多视角 稀疏视角 预训练模型

📋 核心要点

  1. 传统3D目标检测依赖固定类别训练，泛化能力受限，难以适应开放词汇场景。
  2. 利用预训练2D模型，通过视角一致性优化3D proposals，避免昂贵的3D特征学习。
  3. 实验表明，该方法在稀疏视角下显著优于现有技术，并在密集视角下具有竞争力。

📝 摘要（中文）

本文研究了具有挑战性但实用的稀疏视角下的开放词汇3D目标检测问题，即仅使用有限数量的带位姿RGB图像作为输入。该方法无需训练，而是依赖于预训练的、现成的2D基础模型，避免了计算量大的3D特征融合或需要3D特定学习。通过提升2D检测结果并直接优化3D proposals，以实现跨视角的特征度量一致性，充分利用了2D中可用的海量训练数据。通过标准基准测试，证明了该简单流程建立了一个强大的基线，在密集采样场景中与最先进的技术相比具有竞争力，并且在稀疏视角设置中显著优于它们。

🔬 方法详解

问题定义：论文旨在解决稀疏多视角下的开放词汇3D目标检测问题。现有方法通常需要针对特定类别进行3D数据训练，泛化能力差，无法检测未见过的物体类别。此外，直接进行3D特征融合计算成本高昂，且在稀疏视角下效果不佳。

核心思路：论文的核心思路是利用预训练的2D视觉基础模型，将2D检测结果提升到3D空间，并通过优化3D proposals来实现跨视角的特征度量一致性。这样可以充分利用2D领域的大量训练数据，避免直接进行3D特征学习，从而实现开放词汇的3D目标检测。

技术框架：整体流程如下：1) 使用预训练的2D目标检测器在多个视角图像中检测物体。2) 将2D检测结果反投影到3D空间，生成3D proposals。3) 对每个3D proposal，提取其在各个视角下的2D特征。4) 通过优化3D proposal的位置和尺寸，使得其在不同视角下的2D特征尽可能一致。5) 输出优化后的3D bounding box作为检测结果。

关键创新：该方法最重要的创新点在于利用2D预训练模型进行3D目标检测，避免了3D数据的训练，从而实现了开放词汇的3D检测。此外，通过优化3D proposals来实现跨视角的特征一致性，充分利用了多视角信息，提高了检测精度。

关键设计：关键设计包括：1) 使用CLIP等预训练的2D模型提取图像特征。2) 使用IoU作为度量标准来评估3D proposals的质量。3) 使用Adam优化器来优化3D proposal的位置和尺寸。4) 损失函数设计为最小化不同视角下同一proposal的特征差异。

📊 实验亮点

实验结果表明，该方法在ScanNet和SUN RGB-D等标准数据集上取得了具有竞争力的性能。特别是在稀疏视角设置下，该方法显著优于现有方法，例如在ScanNet数据集上，相比于现有方法提升了超过10%的mAP。这证明了该方法在稀疏视角下的有效性和优越性。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、场景理解等领域。例如，机器人可以在未知环境中检测并识别各种物体，从而更好地完成任务。自动驾驶系统可以利用该技术检测行人、车辆等目标，提高安全性。该方法无需训练的特性使其具有很强的适应性和泛化能力，未来有望在更多领域得到应用。

📄 摘要（原文）

The ability to interpret and comprehend a 3D scene is essential for many vision and robotics systems. In numerous applications, this involves 3D object detection, i.e.~identifying the location and dimensions of objects belonging to a specific category, typically represented as bounding boxes. This has traditionally been solved by training to detect a fixed set of categories, which limits its use. In this work, we investigate open-vocabulary 3D object detection in the challenging yet practical sparse-view setting, where only a limited number of posed RGB images are available as input. Our approach is training-free, relying on pre-trained, off-the-shelf 2D foundation models instead of employing computationally expensive 3D feature fusion or requiring 3D-specific learning. By lifting 2D detections and directly optimizing 3D proposals for featuremetric consistency across views, we fully leverage the extensive training data available in 2D compared to 3D. Through standard benchmarks, we demonstrate that this simple pipeline establishes a powerful baseline, performing competitively with state-of-the-art techniques in densely sampled scenarios while significantly outperforming them in the sparse-view setting.