DATE: Dynamic Absolute Time Enhancement for Long Video Understanding

📄 arXiv: 2509.09263v1 📥 PDF

作者: Chao Yuan, Yang Yang, Yehui Yang, Zach Cheng

分类: cs.CV

发布日期: 2025-09-11

💡 一句话要点

提出DATE：动态绝对时间增强方法，提升MLLM在长视频理解中的时间感知能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态大语言模型 时间感知 事件定位 视觉-语言检索 时间戳注入 动态采样

📋 核心要点

  1. 现有MLLM在长视频理解中，依赖均匀采样和隐式位置编码，难以捕捉长程时间依赖关系，导致信息损失。
  2. DATE方法通过时间戳注入机制和语义引导的相似性采样，构建连续时间参考，提升模型的时间感知能力。
  3. 实验表明，DATE方法在绝对时间理解和关键事件定位上显著提升，7B模型性能甚至超越部分72B模型。

📝 摘要（中文）

长视频理解是多模态大语言模型(MLLM)面临的一项基础挑战，尤其是在需要精确的时间推理和事件定位的任务中。现有方法通常采用均匀帧采样，并依赖隐式位置编码来建模时间顺序。然而，这些方法难以处理长程依赖，导致关键信息丢失和时间理解能力下降。本文提出了动态绝对时间增强(DATE)方法，通过时间戳注入机制(TIM)和语义引导的时间感知相似性采样(TASS)策略来增强MLLM的时间感知能力。具体来说，我们将视频帧嵌入与文本时间戳token交错，以构建连续的时间参考系统。我们进一步将视频采样问题重新定义为视觉-语言检索任务，并引入了一种两阶段算法，以确保语义相关性和时间覆盖率：丰富每个查询为描述性标题，以更好地与视觉特征对齐，并使用相似性驱动的时间正则化贪婪策略采样关键事件。我们的方法在绝对时间理解和关键事件定位方面取得了显著的改进，在小时级视频基准测试中，在7B和72B模型中实现了最先进的性能。特别地，我们的7B模型在某些基准测试中甚至超过了许多72B模型。

🔬 方法详解

问题定义：现有MLLM在长视频理解任务中，特别是需要精确定位事件和进行时间推理时，面临着挑战。传统的均匀帧采样方法和隐式位置编码难以捕捉长视频中的长程时间依赖关系，导致关键信息丢失，影响模型的时间理解能力。

核心思路：DATE的核心思路是通过显式地引入时间信息，并结合语义信息进行采样，从而增强模型的时间感知能力。具体来说，DATE通过时间戳注入机制（TIM）将时间信息嵌入到视频特征中，并利用语义引导的时间感知相似性采样（TASS）策略选择关键帧。

技术框架：DATE方法主要包含两个核心模块：时间戳注入机制（TIM）和语义引导的时间感知相似性采样（TASS）。TIM将视频帧嵌入与文本时间戳token交错，构建一个连续的时间参考系统。TASS将视频采样问题转化为视觉-语言检索任务，并采用两阶段算法：首先，将每个查询丰富为描述性标题，以便更好地与视觉特征对齐；然后，使用相似性驱动的时间正则化贪婪策略采样关键事件。

关键创新：DATE的关键创新在于显式地将时间信息注入到模型中，并结合语义信息进行采样。与传统的隐式位置编码方法相比，DATE能够更有效地捕捉长视频中的时间依赖关系。此外，TASS策略通过将视频采样问题转化为视觉-语言检索任务，并采用两阶段算法，实现了语义相关性和时间覆盖率的平衡。

关键设计：在TIM中，时间戳token的选择和嵌入方式是关键。论文中具体的时间戳token形式和嵌入维度未知。在TASS中，两阶段算法的设计至关重要。第一阶段的查询丰富策略和第二阶段的相似性度量方式以及时间正则化系数的具体数值未知。损失函数的设计也未知，推测可能包含对比学习损失或交叉熵损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DATE方法在小时级视频基准测试中取得了显著的性能提升，在绝对时间理解和关键事件定位方面均达到了最先进水平。值得注意的是，DATE的7B模型在某些基准测试中甚至超越了许多72B模型，表明了该方法的有效性和效率。具体的性能数据和对比基线未知。

🎯 应用场景

DATE方法可应用于视频内容分析、智能监控、视频检索、自动驾驶等领域。通过提升模型对长视频的时间感知能力，可以更准确地理解视频内容，从而实现更智能化的应用。例如，在智能监控中，可以更准确地检测异常事件；在视频检索中，可以根据时间信息更精确地检索目标片段。

📄 摘要（原文）

Long video understanding remains a fundamental challenge for multimodal large language models (MLLMs), particularly in tasks requiring precise temporal reasoning and event localization. Existing approaches typically adopt uniform frame sampling and rely on implicit position encodings to model temporal order. However, these methods struggle with long-range dependencies, leading to critical information loss and degraded temporal comprehension. In this paper, we propose Dynamic Absolute Time Enhancement (DATE) that enhances temporal awareness in MLLMs through the Timestamp Injection Mechanism (TIM) and a semantically guided Temporal-Aware Similarity Sampling (TASS) strategy. Specifically, we interleave video frame embeddings with textual timestamp tokens to construct a continuous temporal reference system. We further reformulate the video sampling problem as a vision-language retrieval task and introduce a two-stage algorithm to ensure both semantic relevance and temporal coverage: enriching each query into a descriptive caption to better align with the vision feature, and sampling key event with a similarity-driven temporally regularized greedy strategy. Our method achieves remarkable improvements w.r.t. absolute time understanding and key event localization, resulting in state-of-the-art performance among 7B and 72B models on hour-long video benchmarks. Particularly, our 7B model even exceeds many 72B models on some benchmarks.