C-GAP: Class-Aware and Online Prompting Improves Vision-Language Models on Imbalanced Classes

📄 arXiv: 2607.09008v1 📥 PDF

作者: Francis Fernandez, Arash Jahangiri, Salimeh Sekeh

分类: cs.CV

发布日期: 2026-07-10

💡 一句话要点

提出C-GAP以解决长尾类物体检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 长尾检测 开放词汇检测 视觉-语言模型 少数类检测 提示优化

📋 核心要点

  1. 现有的长尾检测方法在处理少数类物体时表现不佳，无法有效应对稀有类别的检测需求。
  2. C-GAP框架通过迭代优化语言提示，利用复合提示来提升少数类的检测性能，避免了重新训练模型的复杂性。
  3. 实验结果显示，C-GAP在少数类的平均精度上提升了53%，在COCO数据集上相对基线提高了81%的AP@0.5，验证了方法的有效性。

📝 摘要（中文）

安全关键的感知系统必须可靠地检测稀有物体类别，而现有的长尾检测方法在处理少量标签空间时存在局限性。开放词汇检测器通过在推理时使用自然语言查询，提供了一种有前景的替代方案。本文提出的C-GAP框架通过迭代优化语言提示，显著提升了少数类的检测精度。实验结果表明，C-GAP在COCO数据集上相较于基线提高了约81%的AP@0.5，证明了复合提示在有效优化中的重要性。

🔬 方法详解

问题定义：本文旨在解决在小标签空间内稀有物体类别的检测问题。现有的长尾检测方法主要针对大量类别和密集标注，无法有效处理少数类的检测需求。

核心思路：C-GAP框架通过迭代优化语言提示，利用复合提示（结合图像描述和类别数量信息）来提升少数类的检测性能，而无需重新训练模型或收集额外标注。

技术框架：C-GAP框架分为两个阶段：第一阶段建立复合提示基线，结合每张图像的场景描述与类别数量信息；第二阶段使用大型语言模型（LLM）对每张图像的提示进行迭代优化，基于少数类的AP@0.5进行动态阈值判断。

关键创新：C-GAP的主要创新在于其无检测器依赖的设计，利用复合提示进行优化，显著提升了少数类的检测精度，与传统方法相比，避免了模型权重的更新。

关键设计：在复合提示的设计中，场景描述和类别数量信息的结合是关键，实验表明仅使用场景描述或类别数量提示作为起始点的效果较差，支持了C-GAP的两个阶段都是必要的贡献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

C-GAP在实验中表现出色，少数类的平均精度提升了53%，在COCO数据集上相对基线提升了约81%的AP@0.5（从17.69提升至32.09）。这一结果表明复合提示在优化过程中的关键作用，验证了该方法的有效性。

🎯 应用场景

C-GAP框架具有广泛的应用潜力，尤其在安全关键的视觉感知系统中，如自动驾驶、监控和医疗影像分析等领域。通过提升稀有物体的检测能力，该方法可以显著提高系统的可靠性和安全性，未来可能推动更多基于视觉的智能应用的发展。

📄 摘要（原文）

Safety-critical perception systems must reliably detect rare object classes within small label spaces, a setting that long-tailed detection methods, designed for hundreds of classes with dense annotation, fundamentally do not address. Open-vocabulary detectors offer a promising alternative, as they use natural language queries at inference time, making prompt quality a first-class lever for detection performance. We exploit this property to address class imbalance: rather than retraining models or collecting additional annotations, we ask whether iteratively refining the language prompts, fed to frozen detectors, can improve minority class detection. We introduce C-GAP Caption-Guided Augmentation and Prompting), a detector-agnostic, annotation-free framework that operates in two phases. First, we establish a composite caption baseline combining per-image scene descriptions with class-quantity context, which we show outperforms scene-description only or class-quantity-only prompts across multiple open-vocabulary architectures and benchmarks. Second, an LLM iteratively refines each image's caption individually, with trials triaged into accept, tentative, or regenerate buckets based on minority-class AP@0.5 against a dynamic threshold derived from the composite baseline. Refinement terminates early once sufficient AP@0.5 gain is achieved. No detector weights are updated at any stage. Our experiments shows that C-GAP improves minority-class average precision up to 53% over the baselines. On COCO, C-GAP improves minority-class AP@0.5 by ~81% relative over the composite baseline (17.69 -> 32.09). Experiments confirm that composite captions provide the critical foundation for effective refinement: using scene-description-only or class-quantity-only prompts as the refinement starting point yields diminishing returns, supporting both stages of C-GAP as necessary contributions.