OW-CLIP: Data-Efficient Visual Supervision for Open-World Object Detection via Human-AI Collaboration

📄 arXiv: 2507.19870v1 📥 PDF

作者: Junwen Duan, Wei Xue, Ziyao Kang, Shixia Liu, Jiazhi Xia

分类: cs.CV, cs.HC

发布日期: 2025-07-26

备注: 9 pages, 11 figures

💡 一句话要点

提出OW-CLIP，通过人机协作和数据高效的视觉监督，解决开放世界目标检测问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放世界目标检测 人机协作 数据高效学习 多模态提示调优 数据增强 视觉分析 增量学习

📋 核心要点

  1. 现有开放世界目标检测方法依赖大量标注数据，易过拟合部分特征，且模型架构修改受限。
  2. OW-CLIP通过人机协作，利用多模态提示调优和Crop-Smoothing技术，实现数据高效的增量训练。
  3. 实验表明，OW-CLIP仅用少量自生成数据即可达到接近SOTA的性能，且标注质量更高。

📝 摘要（中文）

开放世界目标检测（OWOD）将传统目标检测扩展到识别已知和未知对象，因此需要随着新标注的出现不断进行模型调整。当前方法面临重大限制：1）由于依赖大量众包标注而导致的数据饥渴；2）易受“部分特征过拟合”的影响；3）由于需要修改模型架构而导致的灵活性有限。为了解决这些问题，我们提出了OW-CLIP，一个视觉分析系统，它提供精选数据并支持数据高效的OWOD模型增量训练。OW-CLIP实现了为OWOD设置量身定制的即插即用多模态提示调优，并引入了一种新颖的“Crop-Smoothing”技术来缓解部分特征过拟合。为了满足训练方法的数据需求，我们提出了利用大型语言模型和跨模态相似性的双模态数据提炼方法，用于数据生成和过滤。同时，我们开发了一个可视化界面，使用户能够探索和交付高质量的标注：包括特定于类别的视觉特征短语和细粒度的差异化图像。定量评估表明，OW-CLIP以最先进性能的89%实现了具有竞争力的性能，同时仅需要3.8%的自生成数据，并且在使用等量数据进行训练时优于SOTA方法。案例研究表明了所开发方法的有效性以及可视化系统改进的标注质量。

🔬 方法详解

问题定义：开放世界目标检测旨在识别图像中已知和未知的物体，并随着新数据的出现持续学习。现有方法主要痛点在于数据效率低，需要大量人工标注，容易过拟合图像的部分特征，并且模型架构的修改不够灵活，难以适应新的类别。

核心思路：OW-CLIP的核心思路是利用人机协作，结合视觉分析系统和数据增强技术，实现数据高效的开放世界目标检测。通过精心设计的数据选择和增强策略，减少对大量人工标注的依赖，同时缓解部分特征过拟合问题。

技术框架：OW-CLIP包含以下主要模块：1) 数据提炼模块，利用大型语言模型和跨模态相似性进行数据生成和过滤；2) 多模态提示调优模块，针对OWOD场景定制即插即用的提示调优方法；3) Crop-Smoothing模块，缓解部分特征过拟合；4) 可视化界面，用于用户探索和交付高质量标注。整体流程是先通过数据提炼模块生成候选数据，然后利用可视化界面进行人工审核和标注，最后使用提示调优和Crop-Smoothing技术进行模型训练。

关键创新：OW-CLIP的关键创新点在于：1) 提出了双模态数据提炼方法，利用大型语言模型和跨模态相似性进行数据生成和过滤，显著减少了对人工标注的依赖；2) 引入了Crop-Smoothing技术，通过对裁剪区域进行平滑处理，缓解了部分特征过拟合问题；3) 设计了专门针对OWOD场景的多模态提示调优方法，提高了模型在新类别上的泛化能力。

关键设计：在数据提炼模块中，使用了CLIP模型计算图像和文本描述之间的相似度，用于过滤低质量的生成数据。Crop-Smoothing技术通过对裁剪区域的边缘进行高斯模糊处理，减少了模型对局部纹理的过度依赖。多模态提示调优模块使用了可学习的提示向量，通过梯度下降进行优化，以适应不同的类别。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OW-CLIP在开放世界目标检测任务上取得了显著的性能提升。实验结果表明，OW-CLIP仅使用3.8%的自生成数据，即可达到SOTA方法89%的性能。在相同数据量下，OW-CLIP的性能优于SOTA方法，并且可视化界面显著提高了标注质量。

🎯 应用场景

OW-CLIP可应用于智能监控、自动驾驶、机器人导航等领域，能够识别场景中未知的物体，并随着新数据的出现不断学习，提高系统的适应性和鲁棒性。该研究有助于降低开放世界目标检测的标注成本，加速相关技术的落地应用。

📄 摘要（原文）

Open-world object detection (OWOD) extends traditional object detection to identifying both known and unknown object, necessitating continuous model adaptation as new annotations emerge. Current approaches face significant limitations: 1) data-hungry training due to reliance on a large number of crowdsourced annotations, 2) susceptibility to "partial feature overfitting," and 3) limited flexibility due to required model architecture modifications. To tackle these issues, we present OW-CLIP, a visual analytics system that provides curated data and enables data-efficient OWOD model incremental training. OW-CLIP implements plug-and-play multimodal prompt tuning tailored for OWOD settings and introduces a novel "Crop-Smoothing" technique to mitigate partial feature overfitting. To meet the data requirements for the training methodology, we propose dual-modal data refinement methods that leverage large language models and cross-modal similarity for data generation and filtering. Simultaneously, we develope a visualization interface that enables users to explore and deliver high-quality annotations: including class-specific visual feature phrases and fine-grained differentiated images. Quantitative evaluation demonstrates that OW-CLIP achieves competitive performance at 89% of state-of-the-art performance while requiring only 3.8% self-generated data, while outperforming SOTA approach when trained with equivalent data volumes. A case study shows the effectiveness of the developed method and the improved annotation quality of our visualization system.