Pocket-STVG: lightweight architecture for Spatio-Temporal Video Grounding

📄 arXiv: 2609.31135v1 📥 PDF

作者: Alberto Presta, Michal Byra, Grzegorz Stefański, Karol Szurkowski, Eryk Kołodziejczyk, Krzysztof Arendt

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-09-25

备注: 14 pages total. 8 pages main manuscript, 3 pages references, 3 pages additional material

💡 一句话要点

提出Pocket-STVG以解决轻量级时空视频定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时空视频定位 轻量级架构 多模态融合 视频编码 弱监督学习 零样本学习 高效推理

📋 核心要点

  1. 现有的时空视频定位方法通常依赖于复杂的架构和训练流程，导致计算成本高，难以在大规模视频集合中高效应用。
  2. 本文提出Pocket-STVG，一种轻量级的级联架构，结合了高效的预训练组件，避免了大型端到端模型的复杂性。
  3. P-STVG在参数量少于9000万的情况下，能够在弱监督和零样本设置中实现与现有方法相当的性能，显著降低了计算和内存成本。

📝 摘要（中文）

时空视频定位（STVG）旨在根据自然语言查询在视频中定位时空管道。尽管现有方法在全监督、弱监督和零样本设置中表现良好，但通常依赖于计算成本高的架构和复杂的训练流程。本文提出Pocket-STVG（P-STVG），一种轻量级级联架构，通过结合高效的预训练组件来解决STVG问题，而不是使用大型端到端模型。P-STVG集成了基于MobileViCLIP的时间感知视频编码器、源自MDETR的空间编码器-解码器和共享对齐文本编码器。时间定位通过轻量级1D U-Net或简单的阈值策略进行，使得同一框架能够在弱监督和零样本设置中运行。尽管参数少于9000万，P-STVG在性能上与弱监督方法相当，并在内存和计算成本上显著优于早期的零样本方法，建立了STVG的良好性能效率权衡。

🔬 方法详解

问题定义：本文旨在解决时空视频定位（STVG）问题，现有方法往往依赖于计算资源密集型的架构，难以在大规模视频数据中高效应用。

核心思路：Pocket-STVG（P-STVG）通过集成高效的预训练组件，构建轻量级的级联架构，旨在降低计算复杂度，同时保持良好的性能。

技术框架：P-STVG的整体架构包括三个主要模块：一个基于MobileViCLIP的时间感知视频编码器、一个源自MDETR的空间编码器-解码器和一个共享的对齐文本编码器。时间定位通过轻量级的1D U-Net或简单的阈值策略实现。

关键创新：P-STVG的主要创新在于其轻量级设计和高效的组件组合，显著减少了参数数量和计算需求，同时在性能上与现有弱监督方法相当。

关键设计：P-STVG的设计中，视频表示在查询独立的情况下预计算，采用了轻量级的1D U-Net进行时间定位，确保了高效的推理和索引友好的管道。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Pocket-STVG在参数量少于9000万的情况下，表现出与现有弱监督方法相当的性能，并在零样本设置中显著优于早期方法，展示了其在内存和计算成本上的优势，建立了良好的性能效率平衡。

🎯 应用场景

Pocket-STVG在时空视频理解、视频检索和多模态交互等领域具有广泛的应用潜力。其轻量级架构使得在资源受限的环境中也能高效运行，适用于大规模视频数据的处理和分析，未来可能推动智能监控、视频内容分析等领域的发展。

📄 摘要（原文）

Spatio-Temporal Video Grounding (STVG) aims to localize the spatio-temporal tube in a video corresponding to a natural language query. While recent methods achieve strong performance in fully supervised, weakly supervised, and zero-shot settings, they typically rely on computationally expensive architectures, complex training pipelines, or multimodal large language models. We present Pocket-STVG (P-STVG), a lightweight cascade architecture that addresses STVG by combining efficient pre-trained components instead of large end-to-end models. P-STVG integrates a temporal-aware video encoder based on MobileViCLIP, a spatial encoder-decoder derived from MDETR, and a shared aligned text encoder. Temporal localization is performed through either a lightweight 1D U-Net or a simple thresholding strategy, enabling the same framework to operate in both weakly supervised and zero-shot settings. Furthermore, video representations are precomputed independently of the query, yielding an indexing-friendly pipeline for efficient inference and large-scale video collections. Despite requiring fewer than 90M parameters, P-STVG performs on par with weakly supervised methods and improves on earlier zero-shot approaches at a fraction of their memory and computational cost, establishing a favorable performance-efficiency trade-off for STVG.