Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning
作者: Yizhe Zhang, Xujia Wang, Songqi Tang, Xujie Tang, Leo Jiahao Jiang, Jiacheng Wang, Bowen Qu, JinBo Li, Qin Wang, Ji Qi, Lei Hou, Bin Xu, Juanzi Li
分类: cs.CV
发布日期: 2026-10-15
🔗 代码/项目: GITHUB
💡 一句话要点
提出Event-STVG以解决长视频事件推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 事件推理 多模态学习 视频定位 角色推断 复杂事件
📋 核心要点
- 现有STVG方法主要依赖实例特定描述，难以进行长形式推理，限制了其在复杂事件理解中的应用。
- 本文提出Event-STVG任务，通过统一多种推理方式，推动STVG从简单的目标定位转向复杂事件的推理。
- 实验结果显示，当前最强模型在事件推理任务中表现不佳，只有5.4%的m-vIoU，揭示了该领域的挑战和改进空间。
📝 摘要（中文）
时空视频定位（STVG）旨在根据自然语言查询共同定位目标的空间和时间。尽管已有进展，现有STVG基准主要集中于通过特定描述定位目标，未能有效结合多模态大语言模型（MLLMs）中日益强调的长形式推理。本文提出Event-STVG任务，旨在通过统一长形式上下文、重复事件推理、事件定位、角色推断和多目标定位，推动STVG从简单定位转向事件级推理。为促进Event-STVG的研究，我们构建了一个大规模基准，包含4016个足球及其他七个领域的标注事件。实验表明，当前最强模型在10分钟的时间范围内仅实现5.4%的m-vIoU，显示出重复同类事件的混淆、空间定位瓶颈以及联合定位所有所需角色的稀有成功。Event-STVG为MLLMs中的视觉理解建立了新的挑战，呼吁未来模型能够跨空间和时间共同推理复杂事件。
🔬 方法详解
问题定义：本文旨在解决现有STVG方法在长视频事件推理中的不足，尤其是如何有效地进行事件级推理和多目标定位。现有方法往往无法处理复杂的事件关系和重复事件的混淆问题。
核心思路：论文提出Event-STVG，通过整合长形式上下文和多种推理机制，提升事件推理的准确性和有效性。设计上，强调了事件的多样性和复杂性，以适应多模态大语言模型的需求。
技术框架：整体架构包括事件识别、角色推断和空间定位三个主要模块。首先，通过自然语言查询识别事件，其次推断事件中的角色，最后进行空间和时间的联合定位。
关键创新：最重要的创新在于将长形式上下文与事件推理相结合，形成一个统一的框架，区别于传统的基于实例的定位方法，能够处理更复杂的事件关系。
关键设计：在技术细节上，采用了特定的损失函数来优化事件的多样性和角色的准确性，同时设计了适应长视频的网络结构，以提高模型的整体性能。实验中使用了大规模的标注数据集，以确保模型的有效性和泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最强的模型在Event-STVG任务中仅实现了5.4%的m-vIoU，表明该任务的复杂性和挑战性。与现有基准相比，模型在处理重复事件和空间定位方面存在显著瓶颈，呼吁未来研究的深入探索。
🎯 应用场景
该研究的潜在应用领域包括视频监控、智能视频分析和人机交互等。通过提升长视频事件推理的能力，可以在安全监控、体育分析和社交媒体内容理解等方面发挥重要作用，未来可能推动多模态大语言模型在实际应用中的广泛使用。
📄 摘要（原文）
Spatio-Temporal Video Grounding (STVG) aims to jointly localize a target in space and time given a natural-language query. Despite continued advances, existing STVG benchmarks remain largely centered on localizing targets through instance-specific descriptions, leaving them largely decoupled from long-form reasoning increasingly emphasized in multimodal large language models (MLLMs). In this paper, we introduce Event-STVG, a task that shifts STVG from locating what is described toward event-level reasoning by unifying long-form context, repeated-event reasoning, event localization, role inference, and multi-target grounding. To facilitate research on Event-STVG, we construct a large-scale benchmark comprising 4,016 annotated event occurrences across soccer and seven additional domains. Experiments with state-of-the-art MLLMs reveal substantial difficulty, with the strongest model achieving only 5.4% m-vIoU at the 10-minute horizon. Across domains, we consistently observe confusion among repeated same-type events, spatial grounding bottlenecks, and rare success in jointly grounding all required roles. Event-STVG establishes a new challenge for visual understanding in MLLMs, calling for future models that can jointly reason about complex events across space and time. Code and annotations are available at https://github.com/THU-KEG/EventSTVG