CoDet: Co-Occurrence Guided Region-Word Alignment for Open-Vocabulary Object Detection

📄 arXiv: 2310.16667v1 📥 PDF

作者: Chuofan Ma, Yi Jiang, Xin Wen, Zehuan Yuan, Xiaojuan Qi

分类: cs.CV

发布日期: 2023-10-25

备注: Accepted by NeurIPS 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoDet以解决开放词汇物体检测中的区域-词对齐问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 区域-词对齐 共现物体发现 视觉-语言模型 多模态学习

📋 核心要点

  1. 现有方法依赖于预训练的视觉-语言模型，导致定位精度和泛化能力不足。
  2. CoDet将区域-词对齐视为共现物体发现问题，通过图像分组和视觉相似性发现共现物体。
  3. CoDet在OV-LVIS数据集上取得了37.0 AP^m_novel和44.7 AP^m_all的优异成绩，超越了之前的最先进技术。

📝 摘要（中文）

从图像-文本对中推导可靠的区域-词对齐对于学习物体级别的视觉-语言表示至关重要，尤其是在开放词汇物体检测中。现有方法通常依赖于预训练或自训练的视觉-语言模型进行对齐，这在定位精度或泛化能力上存在局限性。本文提出了CoDet，一种新颖的方法，通过将区域-词对齐重新表述为共现物体发现问题，克服了对预对齐视觉-语言空间的依赖。CoDet通过对提到共享概念的图像进行分组，利用视觉相似性发现共现物体并与共享概念对齐。实验表明，CoDet在开放词汇检测中表现优越，具有良好的可扩展性。

🔬 方法详解

问题定义：本文旨在解决开放词汇物体检测中的区域-词对齐问题。现有方法依赖于预训练的视觉-语言模型，导致在定位精度和泛化能力上存在不足。

核心思路：CoDet通过将区域-词对齐重新定义为共现物体发现问题，利用图像中共享概念的共现性来实现对齐。这种设计使得对齐过程不再依赖于预先对齐的视觉-语言空间。

技术框架：CoDet的整体架构包括图像分组、共现物体发现和区域-词对齐三个主要模块。首先，通过图像的文本描述将其分组，然后利用视觉相似性发现共现物体，最后实现与共享概念的对齐。

关键创新：CoDet的主要创新在于将区域-词对齐问题转化为共现物体发现问题，这一思路与现有方法的依赖预训练模型的方式本质上不同。

关键设计：在技术细节上，CoDet采用了特定的损失函数来优化区域-词对齐的准确性，并设计了适应性强的网络结构以提升模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoDet在OV-LVIS数据集上取得了37.0 AP^m_novel和44.7 AP^m_all的成绩，相较于之前的最先进技术分别提升了4.2 AP^m_novel和9.8 AP^m_all，显示出其在开放词汇检测中的显著优势和可扩展性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，能够在开放词汇物体检测中实现更高的准确性和灵活性。未来，CoDet的技术可以推动多模态学习的发展，促进视觉和语言的深度融合，提升人机交互的智能化水平。

📄 摘要（原文）

Deriving reliable region-word alignment from image-text pairs is critical to learn object-level vision-language representations for open-vocabulary object detection. Existing methods typically rely on pre-trained or self-trained vision-language models for alignment, which are prone to limitations in localization accuracy or generalization capabilities. In this paper, we propose CoDet, a novel approach that overcomes the reliance on pre-aligned vision-language space by reformulating region-word alignment as a co-occurring object discovery problem. Intuitively, by grouping images that mention a shared concept in their captions, objects corresponding to the shared concept shall exhibit high co-occurrence among the group. CoDet then leverages visual similarities to discover the co-occurring objects and align them with the shared concept. Extensive experiments demonstrate that CoDet has superior performances and compelling scalability in open-vocabulary detection, e.g., by scaling up the visual backbone, CoDet achieves 37.0 $\text{AP}^m_{novel}$ and 44.7 $\text{AP}^m_{all}$ on OV-LVIS, surpassing the previous SoTA by 4.2 $\text{AP}^m_{novel}$ and 9.8 $\text{AP}^m_{all}$. Code is available at https://github.com/CVMI-Lab/CoDet.