Datasets and Recipes for Video Temporal Grounding via Reinforcement Learning

📄 arXiv: 2507.18100v1 📥 PDF

作者: Ruizhe Chen, Zhiting Fan, Tianze Luo, Heqing Zou, Zhaopeng Feng, Guiyang Xie, Hansheng Zhang, Zhuochen Wang, Zuozhu Liu, Huaijian Zhang

分类: cs.CV, cs.AI

发布日期: 2025-07-24

💡 一句话要点

提出基于强化学习的两阶段训练框架，提升视频时序定位的准确性和泛化性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频时序定位 强化学习 监督微调 视觉语言模型 两阶段训练

📋 核心要点

  1. 现有视频时序定位方法在时序感知能力和泛化性方面存在局限，难以应对复杂场景。
  2. 提出一种两阶段训练框架，结合监督微调和强化学习，提升模型在时序定位和推理方面的能力。
  3. 实验结果表明，该方法在多个基准数据集上优于现有模型，尤其在开放领域场景中表现突出。

📝 摘要（中文）

本文提出了一种两阶段训练框架，该框架结合了监督微调和强化学习（RL），旨在提高视频时序定位（VTG）模型的准确性和鲁棒性。该方法首先利用高质量的冷启动数据进行监督微调初始化，然后通过难度可控的强化学习进一步增强时序定位和推理能力。在多个VTG基准数据集上的综合实验表明，该方法始终优于现有模型，尤其是在具有挑战性的开放领域场景中。通过对训练策略和数据集管理的深入分析，强调了高质量冷启动数据和难度可控强化学习的重要性。为了促进进一步的研究和工业应用，作者发布了所有中间数据集、模型和代码。

🔬 方法详解

问题定义：视频时序定位（VTG）旨在给定自然语言查询，在视频中定位相关的时序片段。现有方法，特别是基于大型视觉语言模型（LVLMs）的方法，虽然取得了一定进展，但在时序感知和泛化能力方面仍然存在不足，难以准确地定位视频中的目标片段，尤其是在复杂和开放领域的场景下。

核心思路：本文的核心思路是利用两阶段训练框架，首先通过高质量的冷启动数据进行监督微调（SFT），使模型具备初步的时序定位能力。然后，利用难度可控的强化学习（RL）进一步优化模型的时序定位策略，使其能够更好地适应各种复杂场景，从而提高模型的准确性和鲁棒性。

技术框架：该方法包含两个主要阶段：1) 监督微调阶段：利用精心策划的高质量冷启动数据集对模型进行微调，使其初步具备时序定位能力。2) 强化学习阶段：设计一个强化学习环境，其中模型作为智能体，通过与环境交互学习更优的时序定位策略。通过奖励函数来引导模型学习，并采用难度可控的训练策略，逐步提升模型的性能。

关键创新：该方法的关键创新在于将监督微调和强化学习相结合，并引入了难度可控的强化学习训练策略。传统的监督学习方法依赖于大量标注数据，而强化学习可以通过与环境交互学习，无需大量标注数据。难度可控的训练策略可以避免模型在训练初期陷入局部最优解，从而提高模型的泛化能力。

关键设计：在强化学习阶段，需要精心设计奖励函数，以引导模型学习正确的时序定位策略。奖励函数通常包括定位准确度、时间一致性等指标。此外，还需要设计合适的探索策略，以鼓励模型探索不同的时序片段。难度可控的训练策略可以通过调整奖励函数的难度或调整训练数据的难度来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个VTG基准数据集上取得了显著的性能提升。例如，在具有挑战性的开放领域数据集上，该方法相比现有最佳模型提升了X%（具体数值需查看原论文），证明了该方法在复杂场景下的优越性。此外，消融实验验证了高质量冷启动数据和难度可控强化学习的重要性。

🎯 应用场景

该研究成果可应用于视频内容理解、智能视频搜索、视频编辑、智能安防等领域。例如，在视频搜索中，可以根据用户输入的自然语言查询，快速准确地定位到视频中的相关片段。在智能安防中，可以自动检测和定位异常事件，提高安防效率。该技术还有助于提升人机交互体验，实现更智能化的视频应用。

📄 摘要（原文）

Video Temporal Grounding (VTG) aims to localize relevant temporal segments in videos given natural language queries. Despite recent progress with large vision-language models (LVLMs) and instruction-tuning, existing approaches often suffer from limited temporal awareness and poor generalization. In this work, we introduce a two-stage training framework that integrates supervised fine-tuning with reinforcement learning (RL) to improve both the accuracy and robustness of VTG models. Our approach first leverages high-quality curated cold start data for SFT initialization, followed by difficulty-controlled RL to further enhance temporal localization and reasoning abilities. Comprehensive experiments on multiple VTG benchmarks demonstrate that our method consistently outperforms existing models, particularly in challenging and open-domain scenarios. We conduct an in-depth analysis of training strategies and dataset curation, highlighting the importance of both high-quality cold start data and difficulty-controlled RL. To facilitate further research and industrial adoption, we release all intermediate datasets, models, and code to the community.