CP-DETR: Concept Prompt Guide DETR Toward Stronger Universal Object Detection

📄 arXiv: 2412.09799v1 📥 PDF

作者: Qibo Chen, Weizhong Jin, Jianyue Ge, Mengdi Liu, Yuchao Yan, Jian Jiang, Li Yu, Xuanjiang Guo, Shuchang Li, Jianzhong Chen

分类: cs.CV, cs.AI

发布日期: 2024-12-13

备注: Accepted by AAAI2025

💡 一句话要点

CP-DETR：通过概念提示引导DETR实现更强大的通用目标检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用目标检测 DETR 概念提示 视觉提示 零样本学习

📋 核心要点

  1. 现有通用目标检测方法难以有效利用提示信息泛化对象，且下游任务存在对齐偏差，导致性能受限。
  2. CP-DETR设计了高效的提示-视觉混合编码器，并结合提示多标签损失和辅助检测头，充分利用提示信息。
  3. CP-DETR通过视觉提示和优化提示生成方法，提取抽象概念，减少对齐偏差，并在多个数据集上取得显著提升。

📝 摘要（中文）

最近的通用目标检测研究旨在将语言引入最先进的闭集检测器中，并通过构建大规模（文本-区域）数据集来泛化开放集概念以进行训练。然而，这些方法面临两个主要挑战：（i）如何有效地利用提示中的先验信息来泛化对象，以及（ii）如何减少下游任务中的对齐偏差，这两者都会导致在预训练之外的某些场景中性能欠佳。为了解决这些挑战，我们提出了一个强大的通用检测基础模型CP-DETR，它在几乎所有场景中都具有竞争力，并且只有一个预训练权重。具体来说，我们设计了一个高效的提示-视觉混合编码器，通过逐尺度和多尺度融合模块来增强提示和视觉之间的信息交互。然后，通过提示多标签损失和辅助检测头来促进混合编码器充分利用提示信息。除了文本提示之外，我们还设计了两种实用的概念提示生成方法，即视觉提示和优化提示，以通过具体的视觉示例提取抽象概念，并稳定地减少下游任务中的对齐偏差。通过这些有效的设计，CP-DETR在广泛的场景中展示了卓越的通用检测性能。例如，我们的Swin-T骨干模型在LVIS上实现了47.6的零样本AP，而Swin-L骨干模型在ODinW35上实现了32.2的零样本AP。此外，我们的视觉提示生成方法通过交互式检测在COCO val上实现了68.4的AP，而优化提示在ODinW13上实现了73.1的完全样本AP。

🔬 方法详解

问题定义：现有通用目标检测方法在利用文本提示信息进行开放集目标检测时，存在两个主要问题。一是如何高效地利用提示中的先验知识来泛化对象，特别是在零样本场景下。二是下游任务中存在对齐偏差，即预训练数据与下游任务数据分布不一致，导致模型性能下降。这些问题限制了通用目标检测模型的泛化能力和实际应用效果。

核心思路：CP-DETR的核心思路是设计一个高效的提示-视觉混合编码器，并结合概念提示生成方法，从而更有效地利用提示信息，并减少下游任务中的对齐偏差。通过逐尺度和多尺度融合模块，增强提示和视觉特征之间的交互，使模型能够更好地理解和利用提示信息。同时，通过视觉提示和优化提示生成方法，提取抽象概念，从而减少对齐偏差。

技术框架：CP-DETR的整体框架基于DETR，主要包括以下几个模块：1) 提示-视觉混合编码器：用于融合文本提示和视觉特征，增强信息交互。2) 提示多标签损失：用于指导模型学习提示信息。3) 辅助检测头：用于辅助模型进行目标检测。4) 视觉提示生成方法：通过具体的视觉示例提取抽象概念。5) 优化提示生成方法：用于稳定地减少下游任务中的对齐偏差。整个流程是先通过混合编码器融合提示和视觉信息，然后通过损失函数和辅助头进行训练，最后通过概念提示生成方法来提升泛化能力。

关键创新：CP-DETR的关键创新在于以下几个方面：1) 提出了高效的提示-视觉混合编码器，通过逐尺度和多尺度融合模块，增强了提示和视觉特征之间的交互。2) 设计了提示多标签损失和辅助检测头，从而更有效地利用提示信息。3) 提出了视觉提示和优化提示两种概念提示生成方法，用于提取抽象概念，并减少下游任务中的对齐偏差。与现有方法相比，CP-DETR能够更有效地利用提示信息，并具有更强的泛化能力。

关键设计：在提示-视觉混合编码器中，采用了逐尺度和多尺度融合模块，具体实现方式未知。提示多标签损失的具体形式未知，但其目的是指导模型学习提示信息。视觉提示生成方法通过具体的视觉示例提取抽象概念，具体实现方式未知。优化提示生成方法用于稳定地减少下游任务中的对齐偏差，具体实现方式未知。论文中使用了Swin-T和Swin-L作为骨干网络，并使用了DETR作为基础检测框架。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CP-DETR在多个数据集上取得了显著的性能提升。例如，使用Swin-T骨干网络在LVIS数据集上实现了47.6的零样本AP，使用Swin-L骨干网络在ODinW35数据集上实现了32.2的零样本AP。此外，通过交互式检测，CP-DETR在COCO val数据集上实现了68.4的AP，通过优化提示，在ODinW13数据集上实现了73.1的完全样本AP。这些结果表明，CP-DETR在通用目标检测方面具有显著的优势。

🎯 应用场景

CP-DETR具有广泛的应用前景，可应用于智能安防、自动驾驶、机器人视觉等领域。例如，在智能安防中，可以利用CP-DETR检测监控视频中的异常行为；在自动驾驶中，可以利用CP-DETR识别交通标志和行人；在机器人视觉中，可以利用CP-DETR进行目标识别和场景理解。该研究的实际价值在于提升了目标检测模型的泛化能力和鲁棒性，为实际应用提供了更可靠的技术支持。未来，CP-DETR可以进一步扩展到其他视觉任务中，例如图像分割、图像描述等。

📄 摘要（原文）

Recent research on universal object detection aims to introduce language in a SoTA closed-set detector and then generalize the open-set concepts by constructing large-scale (text-region) datasets for training. However, these methods face two main challenges: (i) how to efficiently use the prior information in the prompts to genericise objects and (ii) how to reduce alignment bias in the downstream tasks, both leading to sub-optimal performance in some scenarios beyond pre-training. To address these challenges, we propose a strong universal detection foundation model called CP-DETR, which is competitive in almost all scenarios, with only one pre-training weight. Specifically, we design an efficient prompt visual hybrid encoder that enhances the information interaction between prompt and visual through scale-by-scale and multi-scale fusion modules. Then, the hybrid encoder is facilitated to fully utilize the prompted information by prompt multi-label loss and auxiliary detection head. In addition to text prompts, we have designed two practical concept prompt generation methods, visual prompt and optimized prompt, to extract abstract concepts through concrete visual examples and stably reduce alignment bias in downstream tasks. With these effective designs, CP-DETR demonstrates superior universal detection performance in a broad spectrum of scenarios. For example, our Swin-T backbone model achieves 47.6 zero-shot AP on LVIS, and the Swin-L backbone model achieves 32.2 zero-shot AP on ODinW35. Furthermore, our visual prompt generation method achieves 68.4 AP on COCO val by interactive detection, and the optimized prompt achieves 73.1 fully-shot AP on ODinW13.