OW-Rep: Open World Object Detection with Instance Representation Learning

📄 arXiv: 2409.16073v3 📥 PDF

作者: Sunoh Lee, Minsik Jeon, Jihong Min, Junwon Seo

分类: cs.CV, cs.RO

发布日期: 2024-09-24 (更新: 2025-12-21)

备注: Accepted to WACV 2026. Our project website can be found at https://sunohlee.github.io/OW-Rep/

💡 一句话要点

提出OW-Rep，通过实例表征学习实现开放世界目标检测，提升未知物体检测和语义理解。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放世界目标检测 实例表征学习 视觉基础模型 知识迁移 对比学习 语义关系 未知物体检测

📋 核心要点

  1. 现有开放世界目标检测方法忽略了物体间丰富的语义关系，限制了场景理解和下游任务的性能。
  2. OW-Rep利用视觉基础模型，通过未知框细化和嵌入转移模块，学习语义丰富的实例嵌入。
  3. 实验表明，OW-Rep显著提升了未知物体检测和实例嵌入质量，并改善了开放世界跟踪等下游任务的性能。

📝 摘要（中文）

开放世界目标检测(OWOD)旨在解决现实场景中不断涌现未知类别的问题，使在已知类别上训练的检测器能够检测未知物体，并逐步整合新知识。现有OWOD方法主要关注未知物体的检测，但往往忽略了检测到的物体之间丰富的语义关系，而这些关系对于场景理解和开放世界环境中的应用（如开放世界跟踪和新类别发现）至关重要。本文扩展了OWOD框架，使其能够联合检测未知物体并学习语义丰富的实例嵌入，从而使检测器能够捕获实例之间细粒度的语义关系。为此，我们提出了两个模块，利用视觉基础模型(VFMs)的丰富且可泛化的知识，并可以集成到开放世界目标检测器中。首先，未知框细化模块使用来自Segment Anything Model的实例掩码来精确定位未知物体。然后，嵌入转移模块通过松弛对比损失将来自VFM特征的实例级语义相似性提炼到检测器的嵌入中，使检测器能够学习语义上有意义且可泛化的实例特征。大量实验表明，我们的方法显著提高了未知物体检测和实例嵌入质量，同时也提高了下游任务（如开放世界跟踪）的性能。

🔬 方法详解

问题定义：现有开放世界目标检测方法主要关注识别和定位未知物体，但忽略了物体之间的语义关系。这种忽略限制了模型对场景的理解能力，并影响了在开放世界跟踪、新类别发现等下游任务中的表现。因此，如何让开放世界目标检测器学习到物体之间丰富的语义关系是一个关键问题。

核心思路：论文的核心思路是利用视觉基础模型（VFMs）的强大表征能力，将VFMs学习到的语义知识迁移到开放世界目标检测器中。通过学习具有语义意义的实例嵌入，使检测器能够捕获物体之间的细粒度语义关系，从而提升场景理解能力和下游任务的性能。

技术框架：OW-Rep框架包含两个主要模块：未知框细化模块（Unknown Box Refine Module）和嵌入转移模块（Embedding Transfer Module）。首先，未知框细化模块利用Segment Anything Model (SAM) 生成的实例掩码来精确定位未知物体，提高检测精度。然后，嵌入转移模块通过松弛对比损失，将VFM特征中蕴含的实例级语义相似性知识迁移到检测器的实例嵌入中，使检测器能够学习到具有语义意义且可泛化的实例特征。

关键创新：该论文的关键创新在于将视觉基础模型（VFMs）的知识引入到开放世界目标检测中，并设计了有效的模块来实现知识迁移。与现有方法相比，OW-Rep不仅关注未知物体的检测，更关注学习物体之间的语义关系，从而提升了模型的整体理解能力。此外，利用SAM进行未知框细化也提高了未知物体的定位精度。

关键设计： 1. 未知框细化模块：使用SAM生成的实例掩码来修正检测到的未知物体的边界框，提高定位精度。 2. 嵌入转移模块：使用松弛对比损失（relaxed contrastive loss）来学习实例嵌入。该损失函数鼓励语义相似的实例具有相似的嵌入，而语义不同的实例具有不同的嵌入。具体来说，VFM的特征被用作ground truth，指导检测器学习实例嵌入。 3. 损失函数设计：松弛对比损失允许一定程度的噪声，避免过度拟合VFM的特征，从而提高泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OW-Rep在未知物体检测和实例嵌入质量方面均取得了显著提升。具体来说，在开放世界目标检测任务中，OW-Rep相比现有方法取得了X%的性能提升（具体数值需查阅论文）。此外，在开放世界跟踪任务中，OW-Rep也表现出更优的性能，证明了其学习到的实例嵌入具有更好的语义表达能力。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、智能监控等领域。在这些场景中，理解场景中各个物体的语义关系至关重要。例如，在自动驾驶中，理解车辆、行人、交通标志之间的关系有助于做出更安全的决策。此外，该方法还可以应用于开放世界跟踪和新类别发现等任务，进一步提升智能系统的适应性和泛化能力。

📄 摘要（原文）

Open World Object Detection(OWOD) addresses realistic scenarios where unseen object classes emerge, enabling detectors trained on known classes to detect unknown objects and incrementally incorporate the knowledge they provide. While existing OWOD methods primarily focus on detecting unknown objects, they often overlook the rich semantic relationships between detected objects, which are essential for scene understanding and applications in open-world environments (e.g., open-world tracking and novel class discovery). In this paper, we extend the OWOD framework to jointly detect unknown objects and learn semantically rich instance embeddings, enabling the detector to capture fine-grained semantic relationships between instances. To this end, we propose two modules that leverage the rich and generalizable knowledge of Vision Foundation Models(VFMs) and can be integrated into open-world object detectors. First, the Unknown Box Refine Module uses instance masks from the Segment Anything Model to accurately localize unknown objects. The Embedding Transfer Module then distills instance-wise semantic similarities from VFM features to the detector's embeddings via a relaxed contrastive loss, enabling the detector to learn a semantically meaningful and generalizable instance feature. Extensive experiments show that our method significantly improves both unknown object detection and instance embedding quality, while also enhancing performance in downstream tasks such as open-world tracking.