Temporal-Aware Reasoning Optimization for Video Temporal Grounding

📄 arXiv: 2606.09248v1 📥 PDF

作者: Minghang Zheng, Zihao Yin, Yi Yang, Yuxin Peng, Yang Liu

分类: cs.CV

发布日期: 2026-06-08

备注: Accepted by ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出TaRO框架以解决视频时间定位中的推理质量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频时间定位 推理优化 多模态学习 时间敏感奖励 深度学习

📋 核心要点

  1. 现有视频时间定位方法存在推理质量低、随机探索效率低等问题，导致时间定位不准确。
  2. 本文提出的TaRO框架通过构造性推理探索和时间敏感奖励机制，显著提升了推理的时间感知能力。
  3. 实验结果显示，TaRO在多个视频时间定位基准上取得了最先进的性能，验证了其有效性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在视频时间定位中取得了显著进展，但现有模型常常产生表面化的推理，限制了精确的时间定位。为了解决这一问题，本文提出了TaRO（时间感知推理优化）框架，旨在增强模型的时间推理能力。我们引入了基于预生成密集字幕的构造性推理探索，以高效地构建基于视觉线索和时间戳的推理路径。此外，我们设计了时间敏感奖励机制，以评估推理质量。实验结果表明，TaRO在视频时间定位基准上达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有视频时间定位模型在推理质量和探索效率方面的不足，尤其是表面化推理导致的时间定位不准确问题。

核心思路：TaRO框架通过引入构造性推理探索和时间敏感奖励机制，增强模型的时间推理能力，从而提高推理的质量和准确性。

技术框架：TaRO的整体架构包括构造性推理探索模块和时间敏感奖励评估模块。首先，通过密集字幕生成推理路径，然后利用时间敏感奖励评估推理质量，最后进行自由探索以优化推理过程。

关键创新：TaRO的核心创新在于引入了时间敏感奖励机制，能够根据推理路径的时间相关性动态调整奖励，从而有效提升推理质量。这一设计与传统方法的静态奖励机制形成鲜明对比。

关键设计：在参数设置上，TaRO采用了基于事件边界的动态奖励机制，损失函数设计上强调推理路径的时间一致性，网络结构则结合了视觉信息和时间戳信息，以实现高效的推理探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TaRO在视频时间定位基准上达到了最先进的性能，相较于基线模型，推理质量提升了约15%，有效验证了时间敏感奖励机制的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够有效提升系统对事件发生时间的理解和响应能力。未来，TaRO框架有望在更复杂的多模态任务中发挥重要作用，推动视频理解技术的发展。

📄 摘要（原文）

Multi-modal Large Language Models (MLLMs) have achieved remarkable progress in video temporal grounding with reinforcement learning for generating reasoning paths. However, existing models often produce superficial reasoning, which offers limited guidance for precise temporal localization. This limitation stems from (1) inefficient random exploration and (2) reward functions that focus solely on the answer correctness while ignoring reasoning quality. To address these issues, we propose TaRO (Temporal-Aware Reasoning Optimization), a framework that explicitly enhances the model's ability of thinking with time. First, we introduce a Constructive Reasoning Exploration that leverages pre-generated dense captions to construct reasoning paths grounded in explicit visual cues and timestamps, enabling efficient exploration of high-quality time-aware reasoning. Second, to evaluate reasoning quality, we design a Temporal-Sensitivity Reward. High-quality reasoning should be anchored to specific events and timestamps. If the event boundary under thinking is disrupted, such reasoning should become invalid, leading to a drop in the logit of the reasoning path. We utilize this drop as a critique of reasoning quality. Finally, TaRO follows a progressive curriculum, which starts by utilizing this reward to select better constructed reasoning paths, and evolves to a free exploration phase where the model autonomously generates effective reasoning. Experiments demonstrate that TaRO achieves state-of-the-art performance on VTG benchmarks. Code is available at https://github.com/oceanflowlab/TaRO.