Sparse Multiview Open-Vocabulary 3D Detection

📄 arXiv: 2509.15924v1 📥 PDF

作者: Olivier Moliner, Viktor Larsson, Kalle Åström

分类: cs.CV

发布日期: 2025-09-19

备注: ICCV 2025; OpenSUN3D Workshop; Camera ready version

💡 一句话要点

提出一种稀疏多视角开放词汇3D检测方法，无需3D训练，性能优异。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D目标检测 开放词汇 多视角 稀疏视角 预训练模型

📋 核心要点

  1. 现有3D目标检测方法通常需要针对固定类别进行训练，限制了其应用范围和泛化能力。
  2. 该论文提出一种无需训练的开放词汇3D检测方法，利用预训练的2D模型和跨视角特征一致性优化。
  3. 实验表明，该方法在稀疏视角下显著优于现有技术，并在密集视角下具有竞争力。

📝 摘要（中文）

本文研究了具有挑战性但实用的稀疏视角下的开放词汇3D目标检测问题，即仅使用有限数量的带姿态RGB图像作为输入。该方法无需训练，而是依赖于预训练的、现成的2D基础模型，避免了计算昂贵的3D特征融合或需要3D特定学习。通过提升2D检测结果并直接优化3D proposals，以实现跨视角的特征度量一致性，充分利用了2D中可用的海量训练数据。通过标准基准测试，证明了该简单流程建立了一个强大的基线，在密集采样场景中与最先进的技术具有竞争力，并在稀疏视角设置中显著优于它们。

🔬 方法详解

问题定义：论文旨在解决稀疏多视角下的开放词汇3D目标检测问题。现有方法通常依赖于针对特定类别的大量3D数据进行训练，这限制了它们对新类别和场景的泛化能力。此外，基于3D特征融合的方法计算成本高昂，难以应用于资源受限的场景。

核心思路：论文的核心思路是利用预训练的2D基础模型提取图像特征，并通过跨视角几何约束和特征一致性优化来推断3D bounding box。这种方法避免了对3D数据的直接训练，从而实现了开放词汇检测的能力，并降低了计算复杂度。

技术框架：该方法主要包含以下几个阶段：1) 使用预训练的2D目标检测器在每个视角中检测目标；2) 将2D检测结果反投影到3D空间，生成3D proposals；3) 对每个3D proposal，计算其在不同视角下的特征向量；4) 通过优化3D bounding box的参数，使得其在不同视角下的特征向量尽可能一致。

关键创新：该方法最重要的创新点在于利用2D预训练模型进行3D检测，避免了对3D数据的直接训练。通过跨视角特征一致性优化，可以有效地利用多视角信息，提高检测精度。此外，该方法在稀疏视角下表现出色，使其更适用于实际应用场景。

关键设计：该方法的关键设计包括：1) 使用预训练的CLIP模型提取图像特征；2) 使用IoU作为跨视角几何约束的度量；3) 使用Adam优化器优化3D bounding box的参数；4) 通过设置合适的置信度阈值来过滤低质量的检测结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在ScanNet和nuScenes数据集上进行了评估，在稀疏视角设置下显著优于现有的3D目标检测方法。例如，在ScanNet数据集上，该方法在开放词汇3D检测任务上取得了state-of-the-art的结果，并且在仅使用少量视角的情况下，性能提升尤为明显。即使在密集视角场景下，该方法也表现出与现有方法相当的竞争力。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、增强现实等领域。例如，机器人可以在未知环境中识别和定位各种物体，自动驾驶系统可以检测到未在训练数据中出现的新型障碍物，增强现实应用可以将虚拟物体与真实场景中的物体进行精确对齐。该方法降低了对3D标注数据的依赖，有望推动3D视觉技术在更多实际场景中的应用。

📄 摘要（原文）

The ability to interpret and comprehend a 3D scene is essential for many vision and robotics systems. In numerous applications, this involves 3D object detection, i.e.~identifying the location and dimensions of objects belonging to a specific category, typically represented as bounding boxes. This has traditionally been solved by training to detect a fixed set of categories, which limits its use. In this work, we investigate open-vocabulary 3D object detection in the challenging yet practical sparse-view setting, where only a limited number of posed RGB images are available as input. Our approach is training-free, relying on pre-trained, off-the-shelf 2D foundation models instead of employing computationally expensive 3D feature fusion or requiring 3D-specific learning. By lifting 2D detections and directly optimizing 3D proposals for featuremetric consistency across views, we fully leverage the extensive training data available in 2D compared to 3D. Through standard benchmarks, we demonstrate that this simple pipeline establishes a powerful baseline, performing competitively with state-of-the-art techniques in densely sampled scenarios while significantly outperforming them in the sparse-view setting.