Leveraging Vision-Language Models for Open-Vocabulary Instance Segmentation and Tracking
作者: Bastian Pätzold, Jan Nogga, Sven Behnke
分类: cs.CV, cs.RO
发布日期: 2025-03-18 (更新: 2025-10-20)
备注: IEEE Robotics and Automation Letters (RA-L), November 2025
💡 一句话要点
利用视觉-语言模型实现开放词汇实例分割与跟踪
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视觉-语言模型 开放词汇目标检测 实例分割 视频跟踪 机器人 动态环境 结构化描述
📋 核心要点
- 现有视觉-语言模型缺乏可靠的 grounding 能力和实时推理速度，限制了其在动态环境中的应用。
- 利用视觉-语言模型生成结构化描述，指导开放词汇检测器和视频分割模型，实现高效的实例分割与跟踪。
- 实验表明，该方法在多个数据集和机器人平台上具有广泛的适用性，能够提取任务相关的对象属性。
📝 摘要（中文）
视觉-语言模型(VLM)在视觉理解方面表现出色，但通常缺乏可靠的 grounding 能力和可操作的推理速度。本文将 VLM 与开放词汇目标检测(OVD)、实例分割和跟踪相结合，利用了 VLM 的优势，同时减轻了这些缺点。我们利用 VLM 生成的结构化描述来识别可见的对象实例，收集与应用相关的属性，并通知开放词汇检测器提取相应的边界框，这些边界框被传递到视频分割模型，从而提供分割掩码和跟踪。一旦初始化，该模型直接提取分割掩码，以最小的计算开销实时处理图像流。可以通过生成新的结构化描述和检测来根据需要在线更新跟踪。这结合了 VLM 的描述能力、OVD 的 grounding 能力以及视频分割的像素级理解和速度。我们在数据集和机器人平台上的评估证明了这种方法的广泛适用性，展示了其从动态环境中非标准对象中提取特定于任务的属性的能力。代码、数据、视频和基准测试可在 https://vlm-gist.github.io 获得。
🔬 方法详解
问题定义：现有方法在动态环境中进行开放词汇实例分割和跟踪时，面临着两个主要挑战：一是视觉-语言模型虽然具有强大的视觉理解能力，但缺乏精确的 grounding 能力，难以准确定位和分割目标；二是推理速度较慢，难以满足实时应用的需求。
核心思路：本文的核心思路是将视觉-语言模型的描述能力与开放词汇目标检测的 grounding 能力以及视频分割的速度相结合。具体来说，首先利用视觉-语言模型生成关于场景和对象的结构化描述，然后利用这些描述来指导开放词汇目标检测器，从而获得精确的边界框。最后，将这些边界框传递给视频分割模型，以实现快速的实例分割和跟踪。
技术框架：该方法的技术框架主要包括三个阶段：1) 视觉-语言模型生成结构化描述；2) 开放词汇目标检测器提取边界框；3) 视频分割模型生成分割掩码和跟踪。在第一阶段，利用视觉-语言模型分析图像或视频帧，生成包含对象类别、属性和关系的结构化描述。在第二阶段，利用这些描述来指导开放词汇目标检测器，从而获得与描述相符的对象的边界框。在第三阶段，将这些边界框传递给视频分割模型，以生成精确的分割掩码和跟踪信息。
关键创新：该方法最重要的技术创新点在于将视觉-语言模型的描述能力与开放词汇目标检测的 grounding 能力以及视频分割的速度相结合，从而实现了在动态环境中进行高效的开放词汇实例分割和跟踪。与现有方法相比，该方法能够更准确地定位和分割目标，并且具有更快的推理速度。
关键设计：该方法的关键设计包括：1) 使用视觉-语言模型生成结构化描述，从而提供关于场景和对象的丰富信息；2) 使用开放词汇目标检测器，从而能够检测和分割任意类别的对象；3) 使用视频分割模型，从而能够实现快速的实例分割和跟踪。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
该方法在多个数据集和机器人平台上进行了评估，结果表明其具有良好的性能。例如，在某个机器人平台上，该方法能够以接近实时的速度进行实例分割和跟踪，并且能够准确地提取任务相关的对象属性。与现有的方法相比，该方法在准确性和速度方面都有显著的提升。
🎯 应用场景
该研究具有广泛的应用前景，例如机器人导航、智能监控、自动驾驶、增强现实等领域。它可以帮助机器人在复杂环境中识别和跟踪各种对象，从而实现更智能、更自主的行为。例如，在机器人导航中，机器人可以利用该方法识别和跟踪行人、车辆和障碍物，从而安全地到达目的地。在智能监控中，该方法可以用于检测和跟踪异常行为，从而提高安全性。
📄 摘要（原文）
Vision-language models (VLMs) excel in visual understanding but often lack reliable grounding capabilities and actionable inference rates. Integrating them with open-vocabulary object detection (OVD), instance segmentation, and tracking leverages their strengths while mitigating these drawbacks. We utilize VLM-generated structured descriptions to identify visible object instances, collect application-relevant attributes, and inform an open-vocabulary detector to extract corresponding bounding boxes that are passed to a video segmentation model providing segmentation masks and tracking. Once initialized, this model directly extracts segmentation masks, processing image streams in real time with minimal computational overhead. Tracks can be updated online as needed by generating new structured descriptions and detections. This combines the descriptive power of VLMs with the grounding capability of OVD and the pixel-level understanding and speed of video segmentation. Our evaluation across datasets and robotics platforms demonstrates the broad applicability of this approach, showcasing its ability to extract task-specific attributes from non-standard objects in dynamic environments. Code, data, videos, and benchmarks are available at https://vlm-gist.github.io