Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence

📄 arXiv: 2610.17656v1 📥 PDF

作者: Jiahao Meng, Zhongyuan Bao, Yue Tan, Haiquan Wen, Renrui Zhang, Anna Wang, Jason Li, Yanwei Fu, Yunhai Tong, Ming-Hsuan Yang

分类: cs.CV

发布日期: 2026-10-13

备注: Extension of Open-o3-Video (https://arxiv.org/abs/2510.20579). V2 extends single-pass grounded reasoning to agentic multi-turn evidence seeking and grounding, enabling models to actively acquire and reason over missing visual evidence. We further introduce STGR-v2-CoT-135K and CS-GRPO to improve evidence acquisition and grounded reasoning

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Open-o3-Video-v2以解决视频推理中的证据获取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频推理 证据获取 多模态学习 强化学习 时空推理

📋 核心要点

  1. 现有方法在视频推理中面临证据获取不足和信息缺失的挑战，导致推理结果的可靠性降低。
  2. 论文提出的Open-o3-Video-v2通过代理证据基础过程，主动获取缺失信息并进行可验证的推理，提升了模型的推理能力。
  3. 实验结果显示，Open-o3-Video-v2-4B在V-STaR基准上取得了40.4%的mAM和56.3%的mLGM，分别比基线提升8.5%和12.6%。

📝 摘要（中文）

可靠的视频推理要求模型不仅能产生正确答案，还需提供支持的视觉证据。Open-o3-Video通过将时间戳和对象级边界框嵌入推理轨迹中实现可验证推理，但仅限于初始稀疏采样器的帧。我们引入Open-o3-Video-v2，将视频推理形式化为统一的代理证据基础过程。该模型识别缺失信息，获取额外观察，确定支持其推理的时刻和对象，并在继续或回答之前将这些证据写入轨迹。为支持这一行为，我们构建了STGR-v2-CoT135K和STGR-v2-RL-13K数据集。实验结果表明，Open-o3-Video-v2-4B在多个基准上表现优异，显示出主动证据获取和可验证对象级基础是可靠视频推理的互补因素。

🔬 方法详解

问题定义：论文要解决视频推理中证据获取不足的问题。现有方法如Open-o3-Video仅依赖初始稀疏采样器的帧，限制了推理的准确性和可靠性。

核心思路：论文的核心解决思路是将视频推理视为一个统一的代理证据基础过程，模型通过识别缺失信息并主动获取额外观察，增强推理的支持证据。

技术框架：整体架构包括多个模块：信息识别、观察获取、时刻和对象的基础，以及证据写入轨迹。模型在推理过程中动态更新证据，确保推理的可验证性。

关键创新：最重要的技术创新点在于引入了Clue-Seek GRPO（CS-GRPO），该方法跟踪工具调用如何改变累积证据，并通过奖励线索覆盖和逐步增益来优化推理过程。

关键设计：模型设计中，STGR-v2-CoT135K数据集包含52K多轮代理基础推理轨迹，STGR-v2-RL-13K用于强化学习，损失函数和奖励机制设计旨在减少重复和无信息的检索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在V-STaR基准上，Open-o3-Video-v2-4B模型实现了40.4%的mAM和56.3%的mLGM，分别比其Qwen3-VL-4B基线提升8.5%和12.6%。该模型在一般视频理解、长视频推理和时间基础基准上均表现出一致的性能提升，验证了主动证据获取的重要性。

🎯 应用场景

该研究在视频理解、长视频推理和时间基础等领域具有广泛的应用潜力。通过提升视频推理的可靠性，Open-o3-Video-v2可应用于智能监控、自动驾驶、视频分析等多个实际场景，推动相关技术的发展与应用。

📄 摘要（原文）

Reliable video reasoning requires models to produce correct answers and expose supporting visual evidence. Open-o3-Video enables verifiable reasoning by embedding timestamps and object-level bounding boxes into reasoning traces, but is restricted to frames from an initial sparse sampler. We introduce Open-o3-Video-v2, which formulates video reasoning as a unified agentic evidencegrounded process. The model identifies missing information, acquires additional observations, grounds the moments and objects supporting its reasoning, and writes this evidence into the trajectory before continuing or answering. To support this behavior, we construct STGR-v2-CoT135K, including 52K multi-turn agentic grounded reasoning trajectories, and STGR-v2-RL-13K for reinforcement learning. We further propose Clue-Seek GRPO (CS-GRPO), which tracks how tool calls change accumulated evidence, rewards clue coverage and step-wise gains, and penalizes excessive, repetitive, or uninformative retrieval. On V-STaR, Open-o3-Video-v2-4B achieves 40.4% mAM and 56.3% mLGM, outperforming its Qwen3-VL-4B backbone by 8.5% and 12.6%, respectively. It also delivers consistent gains across general video understanding, long-video reasoning, and temporal grounding benchmarks. These results show that active evidence acquisition and verifiable object-level grounding are complementary for reliable video reasoning. The code and models are released at https://msalab-pku.github.io/projects/Open-o3-Video-v2.