Cyclic Contrastive Knowledge Transfer for Open-Vocabulary Object Detection
作者: Chuhan Zhang, Chaoyang Zhu, Pingcheng Dong, Long Chen, Dong Zhang
分类: cs.CV
发布日期: 2025-03-14 (更新: 2025-04-02)
备注: 10 pages, 5 figures, Published as a conference paper at ICLR 2025
期刊: Proceedings of the 13th International Conference on Learning Representations (ICLR 2025), Paper ID: 4226
💡 一句话要点
提出循环对比知识迁移（CCKT-Det）用于开放词汇目标检测，无需额外监督。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放词汇目标检测 视觉-语言模型 知识迁移 对比学习 自监督学习
📋 核心要点
- 开放词汇目标检测依赖视觉-语言模型，但图像-文本预训练与区域级感知存在不一致，需要额外监督。
- CCKT-Det构建循环动态知识迁移，从语言查询和视觉区域特征中学习，对齐视觉-语义空间，无需额外监督。
- 实验表明，CCKT-Det在COCO数据集上超越现有方法，AP50指标分别提升2.9%和10.2%。
📝 摘要（中文）
为了检测超出预定义类别的无限对象，开放词汇目标检测（OVD）通常依赖于预训练的视觉-语言模型（VLMs）来实现基类到新类别的泛化。然而，为了缓解上游图像-文本预训练和下游区域级感知之间的不一致，额外的监督是不可或缺的，例如，图像-文本对或通过自训练策略生成的伪注释。本文提出CCKT-Det，该模型在训练过程中不需要任何额外的监督。所提出的框架构建了一个从语言查询和从VLMs提取的视觉区域特征的循环和动态知识转移，这迫使检测器与VLMs的视觉-语义空间紧密对齐。具体来说，1) 我们预先过滤并注入语义先验来指导查询的学习，以及 2) 引入区域对比损失来提高查询对新对象的感知。CCKT-Det可以随着VLMs规模的增加而持续提高性能，同时只需要适度的计算开销。全面的实验结果表明，我们的方法在具有挑战性的COCO基准测试中，相对于先前的最先进方法，实现了+2.9%和+10.2% AP50的性能提升，无论是否使用更强的教师模型。
🔬 方法详解
问题定义：开放词汇目标检测旨在检测预定义类别之外的物体。现有方法依赖预训练的视觉-语言模型（VLMs），但VLMs的图像-文本预训练与目标检测的区域级感知存在差异，导致性能瓶颈。为了弥补这种差异，现有方法通常需要额外的监督信息，例如图像-文本对或自训练生成的伪标签，增加了训练成本和复杂度。
核心思路：CCKT-Det的核心思路是通过循环对比知识迁移，使目标检测器能够更好地利用VLMs的知识，而无需额外的监督。该方法通过构建语言查询和视觉区域特征之间的循环知识迁移，迫使检测器与VLMs的视觉-语义空间对齐。通过这种方式，检测器可以学习到更丰富的语义信息，从而提高对新物体的检测能力。
技术框架：CCKT-Det的整体框架包含以下主要模块：1) 视觉特征提取模块，使用预训练的VLMs提取图像的视觉区域特征；2) 语言查询模块，用于生成与目标类别相关的语言查询；3) 循环知识迁移模块，该模块通过对比学习的方式，将语言查询的知识迁移到视觉区域特征，并将视觉区域特征的知识迁移到语言查询，从而实现双向的知识对齐；4) 目标检测模块，利用对齐后的视觉区域特征进行目标检测。
关键创新：CCKT-Det的关键创新在于其循环对比知识迁移机制。与现有方法不同，CCKT-Det不需要额外的监督信息，而是通过自监督的方式，利用VLMs的知识来指导目标检测器的训练。此外，CCKT-Det还引入了语义先验过滤和区域对比损失，进一步提高了知识迁移的效率和准确性。
关键设计：在语言查询模块中，论文使用了语义先验过滤，即预先过滤掉与目标类别无关的查询，以减少噪声干扰。在循环知识迁移模块中，论文使用了区域对比损失，该损失函数鼓励相似的视觉区域特征和语言查询在特征空间中靠近，而不相似的特征则远离。具体的损失函数形式未知，但其目的是为了实现视觉和语义特征的对齐。
🖼️ 关键图片
📊 实验亮点
CCKT-Det在COCO数据集上取得了显著的性能提升，无需任何额外的监督信息。在AP50指标上，CCKT-Det超越了先前的最先进方法2.9%（不使用更强的教师模型）和10.2%（使用更强的教师模型）。这表明CCKT-Det能够有效地利用VLMs的知识，提高开放词汇目标检测的性能。
🎯 应用场景
该研究成果可应用于智能监控、自动驾驶、机器人导航等领域，提升这些系统在复杂环境中识别未知物体的能力。例如，在自动驾驶中，可以帮助车辆识别新的交通标志或障碍物，提高行驶安全性。在智能监控中，可以检测异常事件，例如非法入侵或火灾等。
📄 摘要（原文）
In pursuit of detecting unstinted objects that extend beyond predefined categories, prior arts of open-vocabulary object detection (OVD) typically resort to pretrained vision-language models (VLMs) for base-to-novel category generalization. However, to mitigate the misalignment between upstream image-text pretraining and downstream region-level perception, additional supervisions are indispensable, eg, image-text pairs or pseudo annotations generated via self-training strategies. In this work, we propose CCKT-Det trained without any extra supervision. The proposed framework constructs a cyclic and dynamic knowledge transfer from language queries and visual region features extracted from VLMs, which forces the detector to closely align with the visual-semantic space of VLMs. Specifically, 1) we prefilter and inject semantic priors to guide the learning of queries, and 2) introduce a regional contrastive loss to improve the awareness of queries on novel objects. CCKT-Det can consistently improve performance as the scale of VLMs increases, all while requiring the detector at a moderate level of computation overhead. Comprehensive experimental results demonstrate that our method achieves performance gain of +2.9% and +10.2% AP50 over previous state-of-the-arts on the challenging COCO benchmark, both without and with a stronger teacher model.