Test-time Vocabulary Adaptation for Language-driven Object Detection

📄 arXiv: 2506.00333v1 📥 PDF

作者: Mingxuan Liu, Tyler L. Hayes, Massimiliano Mancini, Elisa Ricci, Riccardo Volpi, Gabriela Csurka

分类: cs.CV

发布日期: 2025-05-31

备注: Accepted as a conference paper at ICIP 2025

💡 一句话要点

提出VocAda，用于语言驱动目标检测的测试时词汇自适应，提升检测性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇目标检测 测试时自适应 图像字幕生成 词汇优化 目标检测

📋 核心要点

  1. 开放词汇目标检测面临用户指定词汇不准确或过于宽泛的挑战，影响检测精度。
  2. VocAda通过图像描述生成相关名词，并以此筛选用户指定词汇，实现词汇的自适应调整。
  3. 实验表明，VocAda在多个数据集和检测器上均能稳定提升性能，具有良好的通用性。

📝 摘要（中文）

开放词汇目标检测模型允许用户在测试时自由指定自然语言形式的类别词汇，从而指导所需目标的检测。然而，词汇可能过于宽泛甚至错误指定，从而阻碍检测器的整体性能。本文提出了一种即插即用的词汇适配器(VocAda)，用于优化用户定义的词汇，自动将其调整为与给定图像相关的类别。VocAda不需要任何训练，它在推理时分三个步骤运行：i) 使用图像字幕生成器描述可见对象，ii) 从这些字幕中解析名词，以及 iii) 从用户定义的词汇中选择相关类别，丢弃不相关的类别。在COCO和Objects365上使用三个最先进的检测器进行的实验表明，VocAda始终提高性能，证明了其通用性。代码已开源。

🔬 方法详解

问题定义：开放词汇目标检测允许用户自定义检测类别，但用户指定的词汇可能包含与图像内容无关的类别，或者过于宽泛，导致检测器性能下降。现有方法缺乏在测试时根据图像内容动态调整词汇的能力，无法有效应对这一问题。

核心思路：VocAda的核心思路是利用图像的上下文信息来提炼和优化用户指定的词汇。通过分析图像内容，识别出图像中实际存在的物体，并以此为依据筛选用户词汇，去除不相关的类别，从而提高检测精度。这种方法无需训练，可以在推理阶段即插即用。

技术框架：VocAda的整体流程包括三个主要步骤：1) 图像字幕生成：使用图像字幕生成模型（如BLIP）为输入图像生成一段描述图像内容的文本。2) 名词解析：从生成的文本描述中提取名词，这些名词代表了图像中可能存在的物体类别。3) 词汇选择：将提取的名词与用户指定的词汇进行匹配，选择与图像内容相关的类别，并丢弃不相关的类别。最终，使用筛选后的词汇进行目标检测。

关键创新：VocAda的关键创新在于其测试时词汇自适应能力。与传统的开放词汇目标检测方法不同，VocAda能够根据图像内容动态调整词汇，从而提高检测精度。此外，VocAda无需训练，可以方便地集成到现有的目标检测系统中。

关键设计：VocAda的关键设计包括：1) 使用高质量的图像字幕生成模型，以确保生成的文本描述能够准确反映图像内容。2) 使用有效的名词解析方法，以准确提取图像中存在的物体类别。3) 使用简单的匹配策略，将提取的名词与用户指定的词汇进行匹配。论文中没有明确提及具体的参数设置、损失函数或网络结构，因为VocAda主要依赖于现有的图像字幕生成模型和目标检测器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VocAda在COCO和Objects365数据集上进行了实验，并与多个最先进的开放词汇目标检测器进行了比较。实验结果表明，VocAda能够显著提高检测精度，例如在使用GLIP检测器在COCO数据集上进行实验时，VocAda能够将mAP提升多个百分点。实验结果证明了VocAda的有效性和通用性。

🎯 应用场景

VocAda可应用于各种需要开放词汇目标检测的场景，例如智能安防、自动驾驶、图像搜索等。它可以帮助用户更准确地检测图像中感兴趣的物体，提高系统的智能化水平。未来，VocAda可以进一步扩展到视频目标检测、三维目标检测等领域。

📄 摘要（原文）

Open-vocabulary object detection models allow users to freely specify a class vocabulary in natural language at test time, guiding the detection of desired objects. However, vocabularies can be overly broad or even mis-specified, hampering the overall performance of the detector. In this work, we propose a plug-and-play Vocabulary Adapter (VocAda) to refine the user-defined vocabulary, automatically tailoring it to categories that are relevant for a given image. VocAda does not require any training, it operates at inference time in three steps: i) it uses an image captionner to describe visible objects, ii) it parses nouns from those captions, and iii) it selects relevant classes from the user-defined vocabulary, discarding irrelevant ones. Experiments on COCO and Objects365 with three state-of-the-art detectors show that VocAda consistently improves performance, proving its versatility. The code is open source.