VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding

📄 arXiv: 2601.07290v1 📥 PDF

作者: Jiapeng Shi, Junke Wang, Zuyao You, Bo He, Zuxuan Wu

分类: cs.CV

发布日期: 2026-01-12

💡 一句话要点

VideoLoom：用于联合时空理解的视频大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频大语言模型 时空理解 视频理解 多模态学习 视频分割 时间定位 视频问答

📋 核心要点

  1. 现有视频理解模型缺乏细粒度的时空定位能力，难以进行精准的视频内容分析。
  2. VideoLoom通过构建包含时空定位信息的视频数据集LoomData-8.7k，并训练统一的视频大语言模型来解决该问题。
  3. 实验表明，VideoLoom在多个时空基准测试中取得了领先或极具竞争力的性能，并提出了新的评估基准LoomBench。

📝 摘要（中文）

本文提出了VideoLoom，一个统一的视频大语言模型（Video LLM），用于联合时空理解。为了促进细粒度的空间和时间定位能力的发展，我们构建了LoomData-8.7k，一个以人为中心的视频数据集，具有时间对齐和空间定位的字幕。基于此，VideoLoom在各种空间和时间基准测试中取得了最先进或极具竞争力的性能（例如，在ReVOS上进行参考视频对象分割的J&F为63.1，在Charades-STA上进行时间定位的R1@0.7为48.3）。此外，我们引入了LoomBench，这是一个由时间、空间和组合视频-问题对组成的新基准，能够从不同方面对视频LLM进行全面评估。总而言之，这些贡献为联合时空视频理解提供了一个通用且有效的套件，为多模态智能设定了新的标准。

🔬 方法详解

问题定义：现有视频理解模型在处理需要同时理解视频中的时间和空间信息的任务时表现不佳。它们难以精确地定位视频中的特定对象，并理解它们在时间上的变化和相互作用。现有方法缺乏足够细粒度的时空理解能力，限制了其在复杂视频分析任务中的应用。

核心思路：VideoLoom的核心思路是构建一个统一的视频大语言模型，该模型能够同时处理视频中的空间和时间信息。通过引入包含时空定位信息的训练数据，模型可以学习到视频中对象的位置和时间变化，从而实现更精确的视频理解。

技术框架：VideoLoom的整体框架包含以下几个主要模块：1) 视频编码器：用于提取视频帧的视觉特征。2) 文本编码器：用于编码文本描述信息。3) 多模态融合模块：将视觉特征和文本特征进行融合，形成统一的表示。4) 大语言模型：基于融合后的表示，进行视频理解和推理。该框架采用端到端的方式进行训练，以优化模型的整体性能。

关键创新：VideoLoom的关键创新在于其统一的时空理解框架和LoomData-8.7k数据集。该框架能够同时处理视频中的空间和时间信息，从而实现更精确的视频理解。LoomData-8.7k数据集包含时间对齐和空间定位的字幕，为模型的训练提供了高质量的数据支持。与现有方法相比，VideoLoom能够更好地理解视频中的对象和它们在时间上的变化。

关键设计：在VideoLoom中，视频编码器可以使用预训练的视觉模型，如CLIP或ViT。文本编码器可以使用预训练的语言模型，如BERT或GPT。多模态融合模块可以使用Transformer或其他注意力机制。损失函数可以包括交叉熵损失、对比学习损失等。LoomData-8.7k数据集包含8.7k个视频，每个视频都包含时间对齐和空间定位的字幕。LoomBench基准测试包含时间、空间和组合视频-问题对，用于全面评估视频LLM的性能。

📊 实验亮点

VideoLoom在ReVOS数据集上实现了63.1的J&F分数，在Charades-STA数据集上实现了48.3的R1@0.7分数，表明其在参考视频对象分割和时间定位任务中取得了最先进或极具竞争力的性能。此外，提出的LoomBench基准测试能够全面评估视频LLM在时间、空间和组合方面的理解能力，为未来的研究提供了新的评估标准。

🎯 应用场景

VideoLoom具有广泛的应用前景，包括视频监控、自动驾驶、智能家居、视频搜索等领域。例如，在视频监控中，VideoLoom可以用于检测异常行为和识别特定对象。在自动驾驶中，VideoLoom可以用于理解交通场景和预测其他车辆的行驶轨迹。在智能家居中，VideoLoom可以用于识别家庭成员和理解他们的行为。该研究的实际价值在于提升视频理解的精度和效率，为多模态智能的发展奠定基础。

📄 摘要（原文）

This paper presents VideoLoom, a unified Video Large Language Model (Video LLM) for joint spatial-temporal understanding. To facilitate the development of fine-grained spatial and temporal localization capabilities, we curate LoomData-8.7k, a human-centric video dataset with temporally grounded and spatially localized captions. With this, VideoLoom achieves state-of-the-art or highly competitive performance across a variety of spatial and temporal benchmarks (e.g., 63.1 J&F on ReVOS for referring video object segmentation, and 48.3 R1@0.7 on Charades-STA for temporal grounding). In addition, we introduce LoomBench, a novel benchmark consisting of temporal, spatial, and compositional video-question pairs, enabling a comprehensive evaluation of Video LLMs from diverse aspects. Collectively, these contributions offer a universal and effective suite for joint spatial-temporal video understanding, setting a new standard in multimodal intelligence.