Zero-Shot Open-Vocabulary Tracking with Large Pre-Trained Models
作者: Wen-Hsuan Chu, Adam W. Harley, Pavel Tokmakov, Achal Dave, Leonidas Guibas, Katerina Fragkiadaki
分类: cs.CV
发布日期: 2023-10-10 (更新: 2024-01-25)
备注: Project page available at https://wenhsuanchu.github.io/ovtracktor/
💡 一句话要点
提出一种新方法以实现开放词汇的视频目标跟踪
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 开放词汇跟踪 视频目标跟踪 对象检测 深度学习 视觉理解
📋 核心要点
- 现有的基于检测的跟踪方法主要针对特定对象类别，缺乏开放词汇的灵活性。
- 本文提出了一种利用大规模预训练模型进行开放词汇视频跟踪的方法，能够处理任意类别的对象。
- 实验显示，该模型在多个基准上表现优异，尤其在UVO和BURST基准上超越了之前的最先进方法。
📝 摘要（中文）
对象跟踪是机器人感知和场景理解的核心任务。传统的基于检测的跟踪方法主要针对特定对象类别。近年来，大规模预训练模型在2D静态图像中的检测和分割上取得了显著进展。本文提出了一种将开放词汇检测器、分割器和密集光流估计器重构为一个模型的方法，能够在2D视频中跟踪和分割任意类别的对象。该方法通过流动模型传播对象框，并利用视觉检测器的框回归模块进行精细化，最终实现对象的分割。实验结果表明，该模型在多个视频对象分割和跟踪基准上表现优异，尤其在开放世界目标跟踪和分割的UVO和BURST基准上超越了现有的最先进方法。
🔬 方法详解
问题定义：本文旨在解决开放词汇视频跟踪中的对象检测和分割问题。现有方法通常局限于特定类别，无法适应多样化的场景和对象。
核心思路：通过重构开放词汇检测器和分割器，结合密集光流估计，提出一种新的跟踪方法，能够在视频中实时跟踪和分割任意类别的对象。
技术框架：整体架构包括三个主要模块：开放词汇对象检测、光流基础的运动模型和对象分割模块。首先检测对象实例，然后通过光流模型在帧间传播对象框，最后利用分割器进行对象分割。
关键创新：该方法的创新在于将静态图像的预训练模型有效应用于视频跟踪任务，尤其是在未显式训练的情况下，仍能实现高效的跟踪和分割。
关键设计：在设计中，采用了基于光流的一致性检查来决定对象跟踪的终止，并通过深度特征匹配实现跨遮挡的对象重识别。
🖼️ 关键图片
📊 实验亮点
在多个视频对象分割和跟踪基准上，该模型表现出色，特别是在UVO和BURST基准上超越了之前的最先进方法，显示出显著的性能提升，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、机器人操作等，能够在复杂环境中实现灵活的对象跟踪与分割。未来，该方法有望为开放词汇的视觉理解提供更广泛的支持，推动相关领域的研究进展。
📄 摘要（原文）
Object tracking is central to robot perception and scene understanding. Tracking-by-detection has long been a dominant paradigm for object tracking of specific object categories. Recently, large-scale pre-trained models have shown promising advances in detecting and segmenting objects and parts in 2D static images in the wild. This begs the question: can we re-purpose these large-scale pre-trained static image models for open-vocabulary video tracking? In this paper, we re-purpose an open-vocabulary detector, segmenter, and dense optical flow estimator, into a model that tracks and segments objects of any category in 2D videos. Our method predicts object and part tracks with associated language descriptions in monocular videos, rebuilding the pipeline of Tractor with modern large pre-trained models for static image detection and segmentation: we detect open-vocabulary object instances and propagate their boxes from frame to frame using a flow-based motion model, refine the propagated boxes with the box regression module of the visual detector, and prompt an open-world segmenter with the refined box to segment the objects. We decide the termination of an object track based on the objectness score of the propagated boxes, as well as forward-backward optical flow consistency. We re-identify objects across occlusions using deep feature matching. We show that our model achieves strong performance on multiple established video object segmentation and tracking benchmarks, and can produce reasonable tracks in manipulation data. In particular, our model outperforms previous state-of-the-art in UVO and BURST, benchmarks for open-world object tracking and segmentation, despite never being explicitly trained for tracking. We hope that our approach can serve as a simple and extensible framework for future research.