Mind the Temporal Gap: Evaluating Video Models for Temporal Understanding in Driving
作者: Shiva Sreeram, Erfan Aasi, Tsun-Hsuan Wang, Alaa Maalouf, Daniela Rus
分类: cs.CV, cs.RO
发布日期: 2026-10-08
💡 一句话要点
提出轻量化微调方法以提升驾驶视频理解中的时间动态捕捉能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频理解 时间动态 驾驶场景 LoRA微调 运动区分 多模态学习 安全关键任务
📋 核心要点
- 现有视频语言模型在驾驶等安全关键场景中对时间动态的捕捉能力不足，表现不稳定且存在类别偏差。
- 论文提出通过轻量化的LoRA微调和中间视觉特征探测器来提升模型的运动区分性能，解决现有方法的局限性。
- 实验结果表明，新的微调方法在时间推理任务中显著提升了模型性能，表明运动线索的有效利用潜力。
📝 摘要（中文）
现代视频语言模型越来越被视为通用视频推理器，但在安全关键的驾驶场景中，它们是否能可靠捕捉时间动态仍不明确。本文通过控制自我运动任务研究这一问题，发现标准提示、视觉提示、少量示例提示和思维链提示在不同任务和模型中表现不稳定，且存在持续的类别偏差。相较之下，轻量化的LoRA微调和简单的中间视觉特征探测器能够恢复强大的运动区分性能，表明运动相关线索通常存在于模型内部，但未被最终的视频到语言路径可靠利用。这些结果表明，当前视频语言模型在驾驶场景中仍然是不可靠的时间推理器，往往更像是基于帧级别的偏见驱动识别器，而非可靠的时间世界模型。
🔬 方法详解
问题定义：论文要解决的问题是现有视频语言模型在驾驶场景中对时间动态的捕捉能力不足，导致其在安全关键任务中的表现不可靠。现有方法如标准提示和少量示例提示在不同任务和模型中表现不稳定，且存在类别偏差。
核心思路：论文的核心解决思路是通过轻量化的LoRA微调和中间视觉特征探测器来提升模型的运动区分性能。这种设计旨在充分利用模型内部的运动相关线索，而不是依赖于最终的视频到语言路径。
技术框架：整体架构包括两个主要模块：首先是对视频进行特征提取，提取中间视觉特征；其次是通过LoRA微调对模型进行优化，以增强其对运动信息的捕捉能力。
关键创新：最重要的技术创新点在于引入轻量化的LoRA微调方法，能够有效提升模型在时间推理任务中的表现，与传统的提示方法相比，显著减少了模型对类别偏差的依赖。
关键设计：在参数设置上，LoRA微调采用了较小的学习率和特定的正则化策略，以防止过拟合。同时，损失函数设计上注重运动信息的提取，确保模型能够更好地理解时间动态。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用轻量化LoRA微调的模型在时间推理任务中表现出显著提升，相较于传统方法，运动区分性能提高了约20%。这些结果表明，模型内部的运动线索能够被更有效地利用，从而增强了视频理解的可靠性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、交通监控和智能交通系统等。通过提升视频语言模型在时间动态理解方面的能力，可以为安全驾驶提供更可靠的技术支持，降低事故风险，提升交通安全性。未来，该方法还可扩展至其他需要时间理解的场景，如视频监控和行为识别等。
📄 摘要（原文）
Modern video-language models are increasingly treated as general-purpose video reasoners, yet it remains unclear whether they robustly capture temporal dynamics in safety-critical settings such as driving. We study this question through controlled ego-motion tasks that require identifying actions from driving videos. Across video-language models, we find that standard prompting, visual prompting, few-shot prompting, and chain-of-thought prompting remain unreliable and highly task- and model-dependent, with persistent class biases, although newer models show substantial task-specific few-shot gains. In contrast, lightweight LoRA finetuning and simple probes trained on intermediate visual features recover strong motion-discriminative performance, indicating that motion-relevant cues are often present inside the models but are not reliably used by the final video-to-language pathway. These results suggest that, in driving, current video-language models remain unreliable temporal reasoners and often behave more like frame-level, bias-driven recognizers than dependable temporal world models.