Open-Vocabulary Object Detectors: Robustness Challenges under Distribution Shifts

📄 arXiv: 2405.14874v4 📥 PDF

作者: Prakash Chandra Chhipa, Kanjar De, Meenakshi Subhash Chippa, Rajkumar Saini, Marcus Liwicki

分类: cs.CV

发布日期: 2024-04-01 (更新: 2024-09-06)

备注: Accepted at 2024 European Conference on Computer Vision Workshops (ECCVW). Project page - https://prakashchhipa.github.io/projects/ovod_robustness

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

评估开放词汇物体检测模型的OOD鲁棒性挑战

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 OOD鲁棒性 视觉-语言模型 零样本学习 深度学习

📋 核心要点

  1. 现有的开放词汇物体检测模型在面对分布变化时表现出较弱的鲁棒性，限制了其在实际应用中的可靠性。
  2. 本文通过对三种开放词汇物体检测模型的零样本能力进行评估，提出了系统的鲁棒性测试框架，以应对OOD挑战。
  3. 实验结果表明，所评估模型在不同鲁棒性基准下的表现差异显著，揭示了当前模型在应对信息丢失和对抗攻击时的脆弱性。

📝 摘要（中文）

在深度视觉模型的部署中，超出分布（OOD）鲁棒性仍然是一个关键障碍。近年来，视觉-语言模型（VLMs）取得了突破性成果，基于VLM的开放词汇物体检测扩展了传统物体检测框架的能力，使其能够识别和分类超出预定义类别的对象。本文对三种开放词汇基础物体检测模型（OWL-ViT、YOLO World和Grounding DINO）的零样本能力进行了全面的鲁棒性评估，实验在COCO-O、COCO-DC和COCO-C等鲁棒性基准上进行，涵盖了因信息丢失、损坏、对抗攻击和几何变形等引起的分布变化，突显了模型鲁棒性面临的挑战，以促进鲁棒性研究的发展。

🔬 方法详解

问题定义：本文旨在解决开放词汇物体检测模型在面对分布变化时的鲁棒性不足问题。现有方法在处理信息丢失、对抗攻击等情况下表现不佳，影响了模型的实际应用。

核心思路：论文提出了一种全面的鲁棒性评估框架，通过对三种开放词汇物体检测模型的零样本能力进行系统性测试，旨在揭示其在不同分布变化下的表现。

技术框架：研究采用了多个鲁棒性基准（如COCO-O、COCO-DC和COCO-C），通过对模型在这些基准上的表现进行评估，分析其在信息丢失、几何变形和对抗攻击等情况下的鲁棒性。

关键创新：本文的主要创新在于系统性地评估了开放词汇物体检测模型的OOD鲁棒性，填补了现有研究在这一领域的空白，提供了新的评估标准和方法。

关键设计：在实验中，采用了多种数据集和评估指标，设计了针对不同类型分布变化的测试用例，以确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，评估的三种模型在面对不同类型的分布变化时表现出显著的鲁棒性差异。例如，在COCO-O基准上，某些模型在信息丢失情况下的准确率下降超过30%，而在对抗攻击下的表现更为脆弱。这些发现为后续研究提供了重要的参考。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等，能够提升这些系统在复杂环境下的物体识别能力。通过增强模型的鲁棒性，未来可以更广泛地应用于实际场景，提升安全性和可靠性。

📄 摘要（原文）

The challenge of Out-Of-Distribution (OOD) robustness remains a critical hurdle towards deploying deep vision models. Vision-Language Models (VLMs) have recently achieved groundbreaking results. VLM-based open-vocabulary object detection extends the capabilities of traditional object detection frameworks, enabling the recognition and classification of objects beyond predefined categories. Investigating OOD robustness in recent open-vocabulary object detection is essential to increase the trustworthiness of these models. This study presents a comprehensive robustness evaluation of the zero-shot capabilities of three recent open-vocabulary (OV) foundation object detection models: OWL-ViT, YOLO World, and Grounding DINO. Experiments carried out on the robustness benchmarks COCO-O, COCO-DC, and COCO-C encompassing distribution shifts due to information loss, corruption, adversarial attacks, and geometrical deformation, highlighting the challenges of the model's robustness to foster the research for achieving robustness. Project page: https://prakashchhipa.github.io/projects/ovod_robustness