Vague2Detect: Handling Ambiguous Prompts in Knowledge-Based Open-World Detection

📄 arXiv: 2609.09949v1 📥 PDF

作者: Ibrohimjon Muminov, Jihie Kim

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-09-09

备注: 15 pages, 4 figures, 3 tables. Code: https://github.com/ibrohimgets/Vague2Detect

💡 一句话要点

提出Vague2Detect以解决模糊提示在开放世界检测中的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模糊提示 开放世界检测 知识库 YOLO Sentence-BERT GPT-3.5 计算机视觉 对象检测

📋 核心要点

  1. 现有的YOLO模型在处理模糊提示时存在局限性，无法有效地将模糊语言与目标对象对齐。
  2. Vague2Detect通过结合Sentence-BERT和YOLO-World，利用知识库检索候选对象并验证其存在，提升了模糊提示的检测能力。
  3. 在实验中，Vague2Detect的模糊提示成功率从YOLO-World的32%提升至61%，并在使用GPT回退时达到85%。

📝 摘要（中文）

现实世界的检测器常常需要解释功能性或模糊的提示，但传统模型如YOLO受限于固定的类别列表。即使是开放词汇模型如YOLO-World，仍然常常无法将模糊语言与目标对象正确对齐。基于我们之前的工作Commonsense-Guided Open-World Object Detection Using LLMs and Visual-Semantic Matching，我们提出了Vague2Detect，一个混合管道，其中经过微调的Sentence-BERT从结构化的家庭知识库中检索候选对象，YOLO-World则验证它们在图像中的存在。对于知识库外的提示，使用大型语言模型（GPT-3.5-turbo）生成候选描述，动态扩展知识库以覆盖新概念。在家庭场景的基准测试中，YOLO-World单独实现了32%的模糊提示成功率（VPSR），而Vague2Detect将性能提升至61%，在使用GPT回退时可达到85%。

🔬 方法详解

问题定义：本论文旨在解决现有开放世界检测模型在处理模糊提示时的不足，特别是YOLO-World在将模糊语言与目标对象对齐方面的局限性。

核心思路：Vague2Detect的核心思路是通过结合Sentence-BERT和YOLO-World，利用结构化知识库来检索和验证候选对象，同时通过大型语言模型动态扩展知识库，以处理未知的模糊提示。

技术框架：整体架构包括两个主要模块：首先，使用Sentence-BERT从知识库中检索候选对象；其次，利用YOLO-World验证这些候选对象在图像中的存在。对于知识库外的提示，使用GPT-3.5-turbo生成描述并扩展知识库。

关键创新：Vague2Detect的最大创新在于其混合管道设计，结合了知识库检索和图像验证的能力，显著提高了模糊提示的成功率，与传统方法相比具有本质区别。

关键设计：在技术细节上，Sentence-BERT经过微调以适应家庭场景的知识库，YOLO-World则负责图像中的对象检测，GPT-3.5-turbo用于生成新的候选描述，确保系统能够处理多样化的模糊提示。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，Vague2Detect的模糊提示成功率从YOLO-World的32%提升至61%，并在使用GPT回退时达到85%。这一显著提升表明该方法在处理模糊提示方面的有效性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能家居、机器人视觉和人机交互等场景，能够有效提升系统在复杂环境下的理解和响应能力。未来，Vague2Detect有望在更广泛的开放世界检测任务中发挥作用，推动智能系统的智能化进程。

📄 摘要（原文）

Real-world detectors must often interpret functional or ambiguous prompts, yet conventional models such as YOLO remain restricted to fixed class lists. Even open-vocabulary models like YOLO-World frequently misalign vague language with the intended objects. Building on our prior work Commonsense-Guided Open-World Object Detection Using LLMs and Visual-Semantic Matching, we address YOLO-World's limitations in grounding task-driven queries. We propose Vague2Detect, a hybrid pipeline in which a fine-tuned Sentence-BERT retrieves candidates from a structured household Knowledge Base (KB), and YOLO-World verifies their presence in the image. For prompts outside the KB, a large language model (GPT-3.5-turbo) generates candidate descriptions, dynamically expanding the KB to cover novel concepts. On a benchmark of household scenes using custom images and an Open Images V7 subset, YOLO-World alone achieves only 32% Vague Prompt Success Rate (VPSR), the ability to map ambiguous queries to correct detections. In contrast, Vague2Detect improves performance to 61% VPSR with high precision, and up to 85% when augmented with GPT fallback.