VideoJev: System One Model for Video Understanding and Interaction

📄 arXiv: 2610.18615v1 📥 PDF

作者: Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li, Luozheng Qin, Junhao Zhou, Dingyu Yao, Jun Zhang, Chuanyu Qin, Zhiqiu Zhang, Yuandong Yang, Yuqi Xu, Tianyu Zhang, Hongcheng Guo, Jiaqi Wang, Nan Duan, Limin Wang

分类: cs.CV

发布日期: 2026-10-13

备注: 23 pages. Project page: https://mcg-nju.github.io/VideoJev

💡 一句话要点

提出VideoJev以解决视频理解与交互问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 结构化决策 多模态大语言模型 时间定位 视频问答 推理速度提升 视觉智能体

📋 核心要点

  1. 现有方法在视频理解和交互中面临决策效率低下和灵活性不足的挑战。
  2. 论文提出VideoJev模型，通过结构化决策任务将视频理解与交互结合，提升了决策的效率与准确性。
  3. 实验结果表明，VideoJev-4B和VideoJev-35B-A3B在多个基准上均显著提升了mIoU，并在推理速度上实现了超过100倍的加速。

📝 摘要（中文）

视觉智能体必须将视频观察转化为及时决策，以跟踪进展并选择下一步行动。基于新兴的系统一范式，本文介绍了VideoJev模型系列，将视频理解和交互视为结构化决策任务。我们通过替换自回归答案解码，适配预训练的多模态大语言模型（MLLMs），使用共享头对视频证据进行时间间隔和文本选项的评分。这些评分生成事件范围或答案选择，统一了时间定位和多选视频问答。VideoJev通过缓存推理和联合推理重用视觉计算，显著提高了推理速度和准确性。

🔬 方法详解

问题定义：本文旨在解决视频理解与交互中的决策效率低下和灵活性不足的问题。现有方法在处理视频信息时，往往无法快速适应新的目标和查询，导致决策过程缓慢。

核心思路：VideoJev模型通过将视频理解和交互视为结构化决策任务，利用多模态大语言模型的语义灵活性，结合高效的决策机制，提升了视觉智能体的决策能力。

技术框架：VideoJev的整体架构包括预训练的多模态大语言模型，采用共享头进行时间间隔和文本选项的评分，支持缓存推理和联合推理，确保在处理多个查询时的高效性。

关键创新：最重要的技术创新在于将自回归答案解码替换为共享评分机制，实现了时间定位与多选问答的统一，显著提高了决策的灵活性和速度。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，以优化评分机制的性能，同时通过缓存推理技术减少了重复计算，提高了推理效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VideoJev-4B和VideoJev-35B-A3B在三个时间定位基准上分别提高了6.7和10.8个点的mIoU，并在推理速度上实现了2.8至3.1倍的加速。在四个视频问答基准上，两者在思维模式下的表现与其基础模型相当，推理速度提升超过100倍。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人交互等场景，能够帮助视觉智能体更高效地理解和处理视频信息，提升决策能力。未来，VideoJev有望在复杂的开放式工作流中发挥重要作用，推动智能系统的进一步发展。

📄 摘要（原文）

Visual agents must turn video observations into timely decisions to track progress and choose what to do next. Building on the emerging System One paradigm, we introduce VideoJev, a family of models that cast video understanding and interaction as structured decision tasks. We adapt pretrained multimodal large language models (MLLMs) by replacing autoregressive answer decoding with a shared head that scores temporal intervals and textual options against video evidence. These scores yield event spans or answer choices, unifying temporal grounding and multiple-choice video question answering. This combines the semantic flexibility of MLLMs with efficient decisions that agents can use directly. As an interaction unfolds, new goals and intermediate results prompt further queries about the same visual history. VideoJev therefore reuses visual computation through Cached inference for queries as they arrive and Joint inference for multiple queries in a single forward pass. Across three temporal grounding benchmarks, VideoJev-4B and VideoJev-35B-A3B improve mean mIoU over their backbones by 6.7 and 10.8 points, respectively, with measured inference speedups of $2.8$-$3.1\times$. On four video QA benchmarks, both achieve performance comparable to their backbones in Thinking mode, with measured inference speedups exceeding $100\times$. These results offer a unified, reusable decision interface for composing structured visual judgments into complex, open-ended workflows.