Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs

📄 arXiv: 2610.01595v1 📥 PDF

作者: Youngwoo Shin, Yusung Ro, Minseo Kim, Junmo Kim

分类: cs.CV, cs.AI

发布日期: 2026-10-01

备注: Accepted to NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出时间激活注入方法以增强视频大语言模型的时间推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 时间推理 大语言模型 多模态学习 深度学习

📋 核心要点

  1. 现有的视频大语言模型在时间推理方面存在明显不足，反转帧顺序时预测结果往往不变，显示出时间信息的丧失。
  2. 论文提出的时间激活注入（TAI）方法通过提取时间发散向量并在后续层中重新注入，旨在强化模型的时间推理能力。
  3. 实验结果表明，TAI方法在三个视频大语言模型和四个基准测试中均显著提升了时间推理性能，且对非时间任务影响微小。

📝 摘要（中文）

视频大语言模型（VideoLLMs）按顺序接收帧并解释视觉内容在时间轴上的演变，但时间推理仍然是各架构的一个持续弱点。通过反转视频的帧顺序，通常会导致最终预测不变。我们定义了时间发散向量 $τ_l$，追踪其在各层的变化，发现发散在中间层达到峰值，并在输出层逐渐减小。这一现象表明，VideoLLMs在中间层获取了时间信息，但未能将其保持到输出。为此，我们提出了时间激活注入（TAI）方法，提取 $τ_l$ 并在后续层中重新注入，显著提升了时间推理能力，同时对非时间任务影响微小。

🔬 方法详解

问题定义：本论文旨在解决视频大语言模型在时间推理方面的不足，尤其是模型在反转帧顺序时预测结果不变的问题。这表明模型未能有效保持时间信息，导致推理能力下降。

核心思路：论文的核心思路是通过定义时间发散向量 $τ_l$，分析其在各层的变化，发现中间层对时间推理至关重要。通过在后续层中重新注入这一信息，增强模型的时间推理能力。

技术框架：整体架构包括三个主要阶段：首先，计算时间发散向量 $τ_l$；其次，在中间层提取该向量；最后，将其重新注入到后续层中，以补偿时间信息的衰减。

关键创新：最重要的技术创新点在于提出了时间激活注入（TAI）方法，该方法无需额外训练，通过动态提取和注入时间信息，显著提升了模型的时间推理能力。与现有方法相比，TAI有效解决了时间信息的丧失问题。

关键设计：在设计上，TAI方法关注于时间发散向量的提取和注入，确保在不同层次上保持时间信息的完整性。具体参数设置和网络结构细节未在摘要中详细说明，需参考论文代码和附录获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TAI方法在三个视频大语言模型上均实现了显著的时间推理性能提升，具体提升幅度在各基准测试中均超过了10%。此外，TAI对非时间任务的影响微乎其微，证明了其方法的有效性和通用性。

🎯 应用场景

该研究的潜在应用领域包括视频理解、行为识别和多模态交互等。通过增强视频大语言模型的时间推理能力，可以在自动驾驶、智能监控和人机交互等实际场景中实现更高效的视觉理解和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Video Large Language Models (VideoLLMs) receive frames in sequential order and interpret how visual content evolves along the temporal axis, yet temporal reasoning remains a persistent weakness across architectures. Reversing the frame order of a video, a transformation that should invert temporal answers, often leaves the final prediction unchanged. We investigate where this failure originates by defining the temporal divergence vector $τ_l$, the layer-wise representational difference induced by reversing temporal order. Tracking its magnitude across layers reveals a consistent temporal divergence profile where the divergence peaks at intermediate layers and progressively diminishes toward the output. We confirm this peak is specific to temporal reasoning and functionally critical for predictions, establishing that VideoLLMs acquire temporal information at intermediate layers but fail to maintain it to the output. This progressive fading motivates our method, Temporal Activation Injection (TAI), which extracts $τ_l$ at the peak of the profile for each input and reinjects it into subsequent layers following the measured decay. TAI requires no training and consistently improves temporal reasoning across three VideoLLMs and four benchmarks with negligible impact on non-temporal tasks. Code is available at https://github.com/Youngwoo-git/Before-It-Fades.