Towards Automatic Video Annotation with ASH: Zero-Shot Open-Vocabulary Multi-Object Tracking and Segmentation

📄 arXiv: 2610.01022v1 📥 PDF

作者: Arash Rocky, Q. M. Jonathan Wu

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出ASH以解决视频实例分割中的多类别开放词汇跟踪问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频实例分割 零-shot学习 开放词汇跟踪 记忆注意力 自动化注释 多类别跟踪 计算机视觉

📋 核心要点

  1. 现有的记忆注意力视频实例分割方法在处理长视频时面临内存需求高和计算成本大的挑战。
  2. 本文提出通用存在令牌（GPT）和注释与分割处理器（ASH）以实现高效的多类别开放词汇跟踪，降低计算复杂度。
  3. 实验结果表明，SAM3-ASH在MOTS20上实现了最先进的HOTA，并在多个基准上与训练模型竞争，内存消耗保持在25GB以下。

📝 摘要（中文）

基于记忆注意力的视频实例分割（VIS）方法在零-shot跟踪能力上表现出色，但其巨大的内存需求限制了其在短视频片段中的应用，同时单提示推理设计使得多类别开放词汇跟踪计算成本高昂。本文提出了两个贡献以实现任意视频的自动化跟踪注释。通用存在令牌（GPT）重新构建了SAM3的推理管道，通过虚拟提示批处理同时处理N个文本提示，将图像编码成本从O(N)降低到O(1)，且无需修改任何学习组件。注释与分割处理器（ASH）通过重叠时间块与基于IoU的块间身份匹配，扩展了任何记忆注意力VIS跟踪器至任意长度的序列，且无需特定数据集训练。在SAM3上实例化的管道——SAM3-ASH，在完全零-shot条件下在MOTS20上实现了最先进的HOTA，并在七个额外基准上与训练专家保持竞争力，同时峰值GPU内存消耗低于25GB，为可扩展的无训练自动视频注释建立了实用基线。

🔬 方法详解

问题定义：本文旨在解决现有视频实例分割方法在长视频处理中的内存消耗和计算复杂度问题，尤其是在多类别开放词汇跟踪场景下的局限性。

核心思路：通过引入通用存在令牌（GPT）和注释与分割处理器（ASH），实现对任意视频的自动化跟踪注释，降低了推理过程中的计算成本，并扩展了跟踪器的适用范围。

技术框架：整体架构包括两个主要模块：GPT用于同时处理多个文本提示，ASH则通过重叠时间块和IoU匹配来实现长序列的跟踪。

关键创新：最重要的创新在于GPT的虚拟提示批处理机制，将图像编码复杂度从O(N)降低到O(1)，以及ASH的无数据集特定训练的块间身份匹配方法。

关键设计：在设计中，GPT的实现不需要修改任何学习组件，ASH则通过重叠时间块的方式处理任意长度序列，确保了方法的灵活性和实用性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SAM3-ASH在MOTS20数据集上实现了最先进的HOTA，且在七个额外基准上与训练模型保持竞争力。其峰值GPU内存消耗低于25GB，展示了方法的高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能交通系统以及任何需要实时视频分析的场景。通过实现高效的自动化视频注释，能够大幅提升视频数据处理的效率和准确性，推动相关领域的发展。

📄 摘要（原文）

Memory-attention-based Video Instance Segmentation (VIS) methods have demonstrated strong zero-shot tracking capability, yet their substantial memory requirements confine them to short video clips and their single-prompt inference design makes multi-category open-vocabulary tracking computationally prohibitive. This work introduces two contributions toward fully automated tracking annotation of arbitrary video. The Generalized Presence Token (GPT) reformulates SAM3's inference pipeline to process N text prompts simultaneously via virtual prompt batching, reducing image encoding cost from O(N) to O(1) with no modifications to any learned component. The Annotation and Segmentation Handler (ASH) extends any memory-attention VIS tracker to sequences of arbitrary length through overlapping temporal chunks with IoU-based inter-chunk identity matching, requiring no dataset-specific training. Instantiated on SAM3, the resulting pipeline -- SAM3-ASH -- achieves state-of-the-art HOTA on MOTS20 under fully zero-shot conditions and remains competitive with trained specialists across seven additional benchmarks, while peak GPU memory consumption stays below 25 GB, establishing a practical baseline for scalable, training-free automated video annotation.