Open-vocabulary vs. Closed-set: Best Practice for Few-shot Object Detection Considering Text Describability

📄 arXiv: 2410.15315v1 📥 PDF

作者: Yusuke Hosoya, Masanori Suganuma, Takayuki Okatani

分类: cs.CV

发布日期: 2024-10-20

备注: 20 pages, 3 figures

💡 一句话要点

针对文本可描述性，研究开放词汇与封闭集目标检测在少样本学习中的适用性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 少样本目标检测 开放词汇目标检测 封闭集目标检测 文本可描述性 CLIP

📋 核心要点

  1. 现有少样本目标检测方法在处理文本描述性差的对象类别时存在不足，难以充分利用开放词汇目标检测的优势。
  2. 论文提出一种基于CLIP零样本图像分类精度量化数据集文本可描述性的方法，以此区分不同数据集。
  3. 实验结果表明，对于文本描述性差的类别，开放词汇目标检测与封闭集目标检测在少样本学习中性能差异不大。

📝 摘要（中文）

开放词汇目标检测(OVD)仅使用语言描述(如类名)检测特定类别的对象，无需任何图像样本，已引起广泛关注。然而，在实际应用中，目标类概念通常难以用文本描述，只能通过图像示例指定目标对象，但获得足够数量的样本通常具有挑战性。因此，从业者对少样本目标检测(FSOD)有很高的需求。一个自然的问题是：对于难以用文本描述的对象类别，OVD的优势能否扩展到FSOD？与仅学习预定义类别的传统方法(本文称为封闭集目标检测，COD)相比，OVD的额外成本是否合理？为了回答这些问题，我们提出了一种使用CLIP的零样本图像分类精度来量化目标检测数据集的“文本可描述性”的方法。这使我们能够对具有不同文本可描述性的各种OD数据集进行分类，并实证评估每种类别中OVD和COD方法的FSOD性能。我们的研究结果表明：i)在OD预训练的同等条件下，对于文本可描述性较低的对象类别，OVD和COD之间几乎没有差异；ii)虽然OVD可以从比OD特定数据更多样的数据中学习，从而增加训练数据的量，但对于文本可描述性较低的类别，这可能会适得其反。这些发现为从业者在OVD方法取得最新进展的情况下提供了有价值的指导。

🔬 方法详解

问题定义：论文旨在解决在少样本目标检测(FSOD)中，如何根据目标类别的文本可描述性，选择合适的检测方法（开放词汇目标检测OVD或封闭集目标检测COD）的问题。现有方法没有充分考虑目标类别的文本可描述性，可能导致在某些情况下选择了不合适的检测方法，从而影响检测性能。特别是对于文本描述性差的类别，OVD的优势可能无法发挥，反而会引入额外的复杂性。

核心思路：论文的核心思路是量化目标检测数据集的文本可描述性，并以此为依据，评估OVD和COD在FSOD中的性能。通过比较不同文本可描述性数据集上OVD和COD的性能，可以确定哪种方法更适合处理特定类型的目标类别。这种思路的合理性在于，文本可描述性直接影响了OVD能否有效利用文本信息进行目标检测。

技术框架：论文的技术框架主要包括以下几个步骤：1. 使用CLIP的零样本图像分类精度来量化目标检测数据集的文本可描述性。2. 将目标检测数据集根据文本可描述性进行分类。3. 在不同类别的数据集上，分别评估OVD和COD的FSOD性能。4. 分析实验结果，确定OVD和COD在不同文本可描述性数据集上的适用性。

关键创新：论文的关键创新在于提出了使用CLIP的零样本图像分类精度来量化目标检测数据集文本可描述性的方法。这种方法能够有效地衡量目标类别是否容易用文本描述，从而为选择合适的检测方法提供依据。此外，论文还通过实验验证了OVD和COD在不同文本可描述性数据集上的性能差异，为实际应用提供了有价值的指导。

关键设计：论文的关键设计包括：1. 使用CLIP作为零样本图像分类器，评估数据集的文本可描述性。CLIP是一种预训练的多模态模型，能够将图像和文本映射到同一个向量空间，从而实现零样本图像分类。2. 使用标准的FSOD评估指标，如mAP (mean Average Precision)，来评估OVD和COD的性能。3. 在实验中，控制OVD和COD的预训练数据量，以确保公平的比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在OD预训练的同等条件下，对于文本可描述性较低的对象类别，OVD和COD在少样本目标检测中性能差异不大。此外，虽然OVD可以利用更多样的数据进行训练，但对于文本可描述性较低的类别，这可能会适得其反。这些发现为实际应用中选择合适的少样本目标检测方法提供了重要参考。

🎯 应用场景

该研究成果可应用于智能安防、自动驾驶、机器人等领域，帮助开发者根据目标类别的文本可描述性，选择合适的少样本目标检测方法，提高检测精度和效率。例如，在安防监控中，对于容易用文本描述的目标（如“人”、“车”），可以选择OVD；对于难以用文本描述的目标（如特定类型的异常行为），可以选择COD。

📄 摘要（原文）

Open-vocabulary object detection (OVD), detecting specific classes of objects using only their linguistic descriptions (e.g., class names) without any image samples, has garnered significant attention. However, in real-world applications, the target class concepts is often hard to describe in text and the only way to specify target objects is to provide their image examples, yet it is often challenging to obtain a good number of samples. Thus, there is a high demand from practitioners for few-shot object detection (FSOD). A natural question arises: Can the benefits of OVD extend to FSOD for object classes that are difficult to describe in text? Compared to traditional methods that learn only predefined classes (referred to in this paper as closed-set object detection, COD), can the extra cost of OVD be justified? To answer these questions, we propose a method to quantify the ``text-describability'' of object detection datasets using the zero-shot image classification accuracy with CLIP. This allows us to categorize various OD datasets with different text-describability and emprically evaluate the FSOD performance of OVD and COD methods within each category. Our findings reveal that: i) there is little difference between OVD and COD for object classes with low text-describability under equal conditions in OD pretraining; and ii) although OVD can learn from more diverse data than OD-specific data, thereby increasing the volume of training data, it can be counterproductive for classes with low-text-describability. These findings provide practitioners with valuable guidance amidst the recent advancements of OVD methods.