Open World Object Detection in the Era of Foundation Models

📄 arXiv: 2312.05745v1 📥 PDF

作者: Orr Zohar, Alejandro Lozano, Shelly Goel, Serena Yeung, Kuan-Chieh Wang

分类: cs.CV, cs.AI

发布日期: 2023-12-10

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FOMO，利用基础模型解决开放世界目标检测问题，并构建新基准。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放世界目标检测 基础模型 未知物体检测 属性学习 新基准

📋 核心要点

  1. 现有开放世界目标检测基准对基础模型支持不足，阻碍了其发展。
  2. 提出FOMO方法，利用基础模型和已知物体属性识别未知物体。
  3. 构建包含航空和手术图像等实际场景的新基准，FOMO在未知物体检测上mAP提升约3倍。

📝 摘要（中文）

目标检测在机器人和医学图像分析等众多实际应用中至关重要。为了在这些应用中可靠地使用，模型必须能够处理意外的或新颖的物体。开放世界目标检测（OWD）范式通过使模型能够检测未知物体并逐步学习发现的物体来应对这一挑战。然而，由于严格的基准和任务定义，OWD方法的发展受到阻碍。这些定义有效地禁止了基础模型的使用。在这里，我们旨在放宽这些定义，并研究预训练基础模型在OWD中的应用。首先，我们表明现有的基准不足以评估利用基础模型的方法，因为即使是简单的集成方法也几乎饱和了这些基准。这一结果促使我们为这些模型策划一个新的且具有挑战性的基准。因此，我们引入了一个新的基准，其中包括五个实际应用驱动的数据集，包括航空和手术图像等具有挑战性的领域，并建立了基线。我们利用应用驱动的数据集中类之间的内在联系，并引入了一种新方法，即用于开放世界的基础目标检测模型（FOMO），该方法基于未知物体与基本已知物体的共享属性来识别未知物体。与我们的基准上的基线相比，FOMO的未知物体mAP约为3倍。然而，我们的结果表明仍有很大的改进空间，这表明在进一步将目标检测方法扩展到实际领域方面存在巨大的研究机会。我们的代码和基准可在https://orrzohar.github.io/projects/fomo/上找到。

🔬 方法详解

问题定义：开放世界目标检测旨在使模型能够检测和学习训练时未见过的物体。现有方法难以有效利用预训练的基础模型，并且现有基准测试集无法充分评估这些模型的性能，因为它们可能过于简单，导致即使是简单的集成方法也能达到很高的性能。

核心思路：论文的核心思路是利用基础模型强大的特征提取能力，并结合已知物体和未知物体之间的属性关联，来识别未知物体。通过学习已知物体的属性，模型可以推断未知物体可能具有的属性，从而实现对未知物体的检测。

技术框架：FOMO (Foundation Object detection Model for the Open world) 的整体框架包括以下几个主要步骤：1) 使用预训练的基础模型（如CLIP）提取图像特征；2) 利用已知物体的标注信息，学习已知物体的属性表示；3) 对于检测到的潜在未知物体，计算其与已知物体属性的相似度；4) 基于相似度得分，判断该物体是否为未知物体，并进行相应的处理。

关键创新：该方法最重要的创新点在于利用了基础模型强大的特征提取能力，并结合了已知物体和未知物体之间的属性关联。与传统的开放世界目标检测方法相比，FOMO能够更好地利用预训练知识，从而提高未知物体的检测性能。此外，新基准的提出也促进了相关研究的发展。

关键设计：FOMO的关键设计包括：1) 使用CLIP等预训练模型提取图像特征；2) 设计合适的损失函数，用于学习已知物体的属性表示；3) 设计相似度度量方法，用于计算未知物体与已知物体属性的相似度。具体参数设置和网络结构细节在论文中未详细说明，属于未知信息。

📊 实验亮点

论文构建了一个新的开放世界目标检测基准，包含五个实际应用驱动的数据集。实验结果表明，提出的FOMO方法在未知物体检测任务上显著优于现有基线方法，mAP提升约3倍。这表明FOMO能够有效利用基础模型和属性关联来识别未知物体，但在真实场景中仍有提升空间。

🎯 应用场景

该研究成果可应用于机器人、自动驾驶、医学图像分析等领域。例如，在自动驾驶中，模型可以检测到道路上未知的障碍物，从而提高安全性。在医学图像分析中，模型可以检测到未知的病灶，辅助医生进行诊断。该研究有助于提升目标检测模型在复杂、开放环境中的适应性和可靠性。

📄 摘要（原文）

Object detection is integral to a bevy of real-world applications, from robotics to medical image analysis. To be used reliably in such applications, models must be capable of handling unexpected - or novel - objects. The open world object detection (OWD) paradigm addresses this challenge by enabling models to detect unknown objects and learn discovered ones incrementally. However, OWD method development is hindered due to the stringent benchmark and task definitions. These definitions effectively prohibit foundation models. Here, we aim to relax these definitions and investigate the utilization of pre-trained foundation models in OWD. First, we show that existing benchmarks are insufficient in evaluating methods that utilize foundation models, as even naive integration methods nearly saturate these benchmarks. This result motivated us to curate a new and challenging benchmark for these models. Therefore, we introduce a new benchmark that includes five real-world application-driven datasets, including challenging domains such as aerial and surgical images, and establish baselines. We exploit the inherent connection between classes in application-driven datasets and introduce a novel method, Foundation Object detection Model for the Open world, or FOMO, which identifies unknown objects based on their shared attributes with the base known objects. FOMO has ~3x unknown object mAP compared to baselines on our benchmark. However, our results indicate a significant place for improvement - suggesting a great research opportunity in further scaling object detection methods to real-world domains. Our code and benchmark are available at https://orrzohar.github.io/projects/fomo/.