VocaDet: Sample-Driven Open-Vocabulary Object Detection and Segmentation via Visual Tokenization and Vector Database Retrieval
作者: ZhiXin Sun
分类: cs.CV, cs.AI
发布日期: 2026-07-09
💡 一句话要点
提出VocaDet以解决开放词汇物体检测与分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 开放词汇检测 物体分割 样本驱动学习 视觉词汇 向量数据库 聚类算法 背景过滤
📋 核心要点
- 现有方法通常依赖文本提示或有限的视觉示例，难以扩展到大规模物体库，且特征匹配过程昂贵。
- VocaDet通过样本驱动的方式，直接从用户提供的样本中学习物体概念，避免了模型重训练。
- 在UA-DETRAC数据集上的实验表明，VocaDet在开放词汇检测性能上优于传统方法，并支持动态扩展识别能力。
📝 摘要（中文）
开放词汇物体检测与分割旨在识别超出预定义类别的任意物体。尽管近期的视觉-语言和基于参考的方法在该领域取得了显著进展，但它们通常依赖文本提示、有限的视觉示例或昂贵的特征匹配过程，难以扩展到大型且不断扩展的物体库。本文提出了VocaDet，一个样本驱动的开放词汇物体检测与分割框架，能够直接从用户提供的正负样本集合中学习物体概念，而无需模型重训练。核心思想是将连续的视觉表示转换为离散的视觉词汇，并通过可扩展的向量数据库进行高效的检索识别。实验结果表明，VocaDet在UA-DETRAC数据集上实现了有效的开放词汇检测性能，并支持随着正负样本的积累而不断扩展的识别能力。
🔬 方法详解
问题定义：本文旨在解决开放词汇物体检测与分割中的样本依赖性和扩展性问题。现有方法常常需要大量的预定义类别和复杂的特征匹配，限制了其在实际应用中的灵活性和效率。
核心思路：VocaDet的核心思路是通过用户提供的正负样本集合，直接学习物体概念，而无需进行模型重训练。通过将连续的视觉表示转化为离散的视觉词汇，结合向量数据库的高效检索能力，实现开放词汇的物体检测与分割。
技术框架：VocaDet的整体架构包括三个主要模块：视觉特征提取（使用DINOv3）、视觉词汇生成（通过自适应聚类生成多粒度视觉标记）和向量数据库存储与检索。在推理阶段，查询图像被转换为视觉标记，并与存储的物体记忆进行高效匹配。
关键创新：VocaDet的主要创新在于其样本驱动的学习方式和基于向量数据库的检索机制。这种方法与传统的基于文本提示或特征匹配的检测方法有本质区别，显著提高了扩展性和灵活性。
关键设计：在技术细节上，VocaDet采用了DINOv3作为视觉特征提取器，并通过聚类算法生成视觉标记。此外，引入背景过滤机制以去除常见背景模式，减少冗余检索操作，提高了在固定摄像头场景下的实用性。
🖼️ 关键图片
📊 实验亮点
在UA-DETRAC数据集上的实验结果显示，VocaDet在开放词汇检测性能上显著优于传统方法，且无需进行常规检测器训练。具体而言，VocaDet在检测精度和效率上均有显著提升，支持随着样本积累而不断扩展的识别能力，展示了其在实际应用中的巨大潜力。
🎯 应用场景
VocaDet在开放词汇物体检测与分割领域具有广泛的应用潜力，特别是在需要识别新物体类别的场景中，如智能监控、自动驾驶和机器人导航等。其样本驱动的特性使得系统能够快速适应新的物体类型，提升了实际应用的灵活性和效率。未来，该方法有望在更大规模的物体库中实现实时检测与分割，推动智能视觉系统的发展。
📄 摘要（原文）
Open-vocabulary object detection and segmentation aim to recognize arbitrary objects beyond predefined categories. Although recent vision-language and reference-based approaches have significantly advanced this field, they often rely on text prompts, limited visual examples, or expensive feature matching procedures, making them difficult to scale to large and continuously expanding object repositories. In this work, we propose VocaDet, a sample-driven open-vocabulary object detection and segmentation framework that learns object concepts directly from user-provided positive and negative sample collections without model retraining. The key idea is to transform continuous visual representations into discrete visual vocabularies and perform efficient retrieval-based recognition through a scalable vector database. Specifically, we employ DINOv3 as the visual feature extractor and apply agglomerative clustering with adaptive clustering sensitivity to generate multi-granularity visual tokens. These visual tokens, together with position-debiased representations and spatial topology information, are stored as expandable object memories in a vector database. During inference, query images are converted into visual tokens and efficiently matched against the stored object memories for object localization and segmentation. Furthermore, a background filtering mechanism is introduced to remove frequently occurring background patterns and reduce redundant retrieval operations in practical fixed-camera scenarios. Experiments on the UA-DETRAC dataset demonstrate that VocaDet achieves effective open-vocabulary detection performance without conventional detector training, while supporting continuously expandable recognition capability as additional positive and negative samples are accumulated.