DATE: Dynamic Absolute Time Enhancement for Long Video Understanding

📄 arXiv: 2509.09263v1 📥 PDF

作者: Chao Yuan, Yang Yang, Yehui Yang, Zach Cheng

分类: cs.CV

发布日期: 2025-09-11

💡 一句话要点

提出DATE框架，通过动态绝对时间增强提升MLLM在长视频理解中的时序推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态大语言模型 时间序列建模 视频内容分析 事件定位 时间戳注入 语义引导采样

📋 核心要点

  1. 现有MLLM在长视频理解中，采用均匀采样和隐式位置编码，难以捕捉长程时序依赖，导致信息损失。
  2. DATE框架通过时间戳注入机制和语义引导的时序感知相似性采样，增强模型对绝对时间的理解。
  3. 实验表明，DATE在小时级视频基准测试中，显著提升了绝对时间理解和关键事件定位的性能，甚至超越了更大的模型。

📝 摘要（中文）

长视频理解是多模态大语言模型(MLLM)面临的一项基础挑战，尤其是在需要精确时序推理和事件定位的任务中。现有方法通常采用均匀帧采样，并依赖隐式位置编码来建模时间顺序，但这些方法难以处理长程依赖，导致关键信息丢失和时序理解能力下降。本文提出了动态绝对时间增强(DATE)框架，通过时间戳注入机制(TIM)和语义引导的时序感知相似性采样(TASS)策略来增强MLLM的时序感知能力。具体而言，我们将视频帧嵌入与文本时间戳token交错，构建连续的时间参考系统。此外，我们将视频采样问题重新定义为视觉-语言检索任务，并引入两阶段算法，确保语义相关性和时间覆盖率：将每个查询丰富为描述性标题，以更好地与视觉特征对齐，并使用相似性驱动的时序正则化贪婪策略采样关键事件。我们的方法在绝对时间理解和关键事件定位方面取得了显著改进，在小时级视频基准测试中，在7B和72B模型中实现了最先进的性能。特别是，我们的7B模型在某些基准测试中甚至超过了许多72B模型。

🔬 方法详解

问题定义：现有方法在处理长视频时，由于均匀采样和隐式位置编码的局限性，无法有效捕捉视频中的长程时序依赖关系，导致关键信息丢失，影响模型对视频内容的时序理解和事件定位能力。尤其是在需要精确时间推理的任务中，这种缺陷更为明显。

核心思路：DATE框架的核心思路是通过显式地注入时间信息，并结合语义信息指导采样，来增强模型对视频时序的感知能力。具体来说，通过时间戳注入机制，将时间信息与视频帧嵌入交错，构建连续的时间参考系；同时，利用语义信息指导关键帧的采样，确保采样的帧既具有语义相关性，又能覆盖视频的关键事件。

技术框架：DATE框架主要包含两个核心模块：时间戳注入机制(TIM)和语义引导的时序感知相似性采样(TASS)。TIM负责将时间戳信息嵌入到视频帧序列中，形成时间感知的视频表示。TASS则将视频采样问题转化为视觉-语言检索问题，通过两阶段算法，首先利用语义信息丰富查询，然后使用相似性驱动的时序正则化贪婪策略选择关键帧。整个框架旨在提升模型对长视频的时序理解能力。

关键创新：DATE框架的关键创新在于显式地将时间信息注入到视频表示中，并结合语义信息指导采样过程。与传统的隐式位置编码方法相比，DATE能够更有效地捕捉长视频中的时序依赖关系，提升模型对绝对时间的理解能力。同时，将视频采样问题转化为视觉-语言检索问题，为关键帧的选择提供了新的思路。

关键设计：在时间戳注入机制中，时间戳token的选择和嵌入方式是关键。论文中具体的时间戳token形式和嵌入方式未知。在TASS中，两阶段采样算法的设计至关重要，第一阶段通过语义信息丰富查询，第二阶段使用相似性驱动的时序正则化贪婪策略选择关键帧，具体的相似性度量方式和时序正则化策略未知。

📊 实验亮点

DATE框架在小时级视频基准测试中取得了显著的性能提升，在绝对时间理解和关键事件定位方面均达到了最先进的水平。值得注意的是，DATE框架的7B模型在某些基准测试中甚至超越了许多72B模型，表明该方法在提升模型性能的同时，具有良好的参数效率。

🎯 应用场景

DATE框架在长视频理解领域具有广泛的应用前景，例如视频内容分析、智能监控、自动驾驶、在线教育等。通过提升模型对视频时序的理解能力，可以实现更精确的事件检测、行为识别和视频摘要生成，从而提高相关应用的智能化水平和用户体验。未来，该方法有望应用于更复杂的视频分析任务中。

📄 摘要（原文）

Long video understanding remains a fundamental challenge for multimodal large language models (MLLMs), particularly in tasks requiring precise temporal reasoning and event localization. Existing approaches typically adopt uniform frame sampling and rely on implicit position encodings to model temporal order. However, these methods struggle with long-range dependencies, leading to critical information loss and degraded temporal comprehension. In this paper, we propose Dynamic Absolute Time Enhancement (DATE) that enhances temporal awareness in MLLMs through the Timestamp Injection Mechanism (TIM) and a semantically guided Temporal-Aware Similarity Sampling (TASS) strategy. Specifically, we interleave video frame embeddings with textual timestamp tokens to construct a continuous temporal reference system. We further reformulate the video sampling problem as a vision-language retrieval task and introduce a two-stage algorithm to ensure both semantic relevance and temporal coverage: enriching each query into a descriptive caption to better align with the vision feature, and sampling key event with a similarity-driven temporally regularized greedy strategy. Our method achieves remarkable improvements w.r.t. absolute time understanding and key event localization, resulting in state-of-the-art performance among 7B and 72B models on hour-long video benchmarks. Particularly, our 7B model even exceeds many 72B models on some benchmarks.