VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding

📄 arXiv: 2609.15606v1 📥 PDF

作者: Weixin Xu, Zhenyu Yang, Bing Wang, Shengsheng Qian, Changsheng Xu

分类: cs.CV, cs.AI

发布日期: 2026-09-14

💡 一句话要点

提出VideoScout以解决长视频理解中的证据获取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 自适应推理 多模态学习 强化学习 证据获取 视频分析 深度学习

📋 核心要点

  1. 现有方法在长视频理解中面临的挑战是难以有效定位稀疏的关键证据，导致理解效果不佳。
  2. 论文提出的VideoScout通过自适应推理节奏，允许代理在观看视频时动态调整速度，从而提高长视频的理解效率。
  3. 实验结果表明，VideoScout在长视频理解基准上表现优异，7B模型相比现有模型有显著提升。

📝 摘要（中文）

多模态大型语言模型在短视频理解上取得了显著进展，但在长视频理解上仍然受限于视觉上下文窗口的限制。现有方法依赖于均匀帧采样或粗到细的缩放策略，难以在长视频中定位稀疏的关键证据。本文将长视频理解定义为顺序证据获取（SEA）问题，提出了VideoScout，一个通过自适应推理节奏实现SEA范式的多轮推理代理。VideoScout通过动态控制观看节奏，能够在有限的视觉上下文窗口内高效遍历长视频，平衡内容分析深度与阅读效率。我们构建了VideoScout-66K数据集，并采用两阶段训练流程，最终在长视频理解基准上取得了优异的表现。

🔬 方法详解

问题定义：本文旨在解决长视频理解中的证据获取问题，现有方法如均匀帧采样和粗到细的缩放策略在长视频中难以有效定位关键证据，导致理解效果不足。

核心思路：提出VideoScout，通过自适应推理节奏，代理可以在观看视频时动态调整速度，从而在有限的视觉上下文窗口内高效获取信息，平衡分析深度与效率。

技术框架：VideoScout的整体架构包括两个主要阶段：冷启动的监督微调和基于轨迹的强化学习。前者用于教会代理每轮的输出格式，后者通过复合奖励优化代理的观看策略。

关键创新：最重要的创新在于引入了顺序证据获取（SEA）范式和动态推理节奏控制，使得代理能够在长视频中更有效地获取和分析信息。

关键设计：在训练过程中，采用了VideoScout-66K数据集，包含超过66K高质量探索轮次，使用的损失函数综合考虑了答案准确性、输出格式合规性及时间对齐等因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在长视频理解的实验中，VideoScout的7B模型在多个基准测试中表现优异，相比现有的7B代理模型，性能提升显著，具体提升幅度未知，展示了其在复杂视频分析中的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、教育视频分析和内容推荐系统等。通过提高长视频的理解能力，VideoScout能够为用户提供更精准的内容分析和推荐，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have achieved remarkable progress on short video understanding yet remain limited on long videos due to the limited visual context window. Prevailing approaches rely on uniform frame sampling or recent coarse-to-fine agentic zooming, both of which struggle to localize sparse, decisive evidence in sufficiently long videos. We formulate long video understanding as a \textbf{Sequential Evidence Acquisition (SEA)} problem, in which an agent reads the video turn by turn along the temporal axis, deciding at each turn how fast to watch, what evidence to retain, when to revisit uncertain segments, and when to stop and answer. Inspired by this view, we propose \textbf{VideoScout}, a multi-turn reasoning agent that instantiates the SEA paradigm through adaptive reasoning pacing. Specifically, by dynamically controlling the viewing pace, VideoScout enables efficient traversal of long videos within a bounded visual context window, allowing the agent to access more video content while balancing content analysis depth with reading efficiency. To train VideoScout, we construct VideoScout-66K, a set of over 66K high-quality exploration turns from 10K answer-verified trajectories, and adopt a two-stage pipeline: cold-start supervised fine-tuning teaches the agent per-turn output format, while the Decoupled Clip and Dynamic sAmpling Policy Optimization (DAPO) algorithm performs trajectory-level reinforcement learning with a composite reward that jointly considers answer accuracy, output format compliance, and the temporal alignment between the agent's viewing progress and the teacher's answer timing measured by intersection-over-union (IoU). Extensive experiments on long video understanding and reasoning benchmarks demonstrate that our 7B model achieves strong performance compared with existing trained 7B agentic models.