VLX-VR: An Agentic-Aware Video Reasoning Model

📄 arXiv: 2609.09985v1 📥 PDF

作者: Sheng Li, Peng Liu, Qianqian Zhang, Tiancheng Zhao

分类: cs.CL, cs.CV

发布日期: 2026-09-09

备注: 10 pages

💡 一句话要点

提出VLX-VR以解决视频理解中的证据获取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 动态证据获取 多模态学习 强化学习 推理模型 智能系统 内存机制

📋 核心要点

  1. 现有视频理解方法往往依赖固定上下文和单次推理，导致在复杂场景中难以有效获取证据。
  2. VLX-VR模型通过Think-Memory-Observation循环动态获取证据，增强了对不确定信息的处理能力。
  3. 在MINERVA数据集上，VLX-VR达到了78.79%的准确率，且在不同时间段的表现稳定，显示出良好的推理一致性。

📝 摘要（中文）

现实世界的视频理解需要整合分布在视频中的视觉、音频、文本和时间证据。然而，许多现有方法使用固定的视频上下文和单次推理，限制了在观察不完整、模糊或冲突时的自适应证据获取。本文提出了VLX-VR，一个在Think-Memory-Observation循环框架内训练的智能视频推理模型。VLX-VR在每一步中确定所需证据，调用读写内存，结合返回的观察结果，并决定是否继续或产生任务输出。通过多模态数据和强化学习进行训练，VLX-VR在MINERVA数据集上实现了78.79%的准确率，展现出强大的性能和稳定性。

🔬 方法详解

问题定义：本文旨在解决视频理解中证据获取的不足，现有方法在面对不完整或模糊信息时表现不佳，限制了推理能力。

核心思路：VLX-VR通过引入Think-Memory-Observation循环，动态决定所需证据并进行内存读写，增强了模型的适应性和推理能力。

技术框架：VLX-VR的整体架构包括三个主要模块：思考模块负责确定所需证据，内存模块用于存储和检索信息，观察模块则结合外部输入进行推理。

关键创新：VLX-VR的核心创新在于其动态证据获取机制，与传统固定上下文方法相比，能够更灵活地应对复杂场景中的信息变化。

关键设计：模型采用强化学习进行训练，优化证据获取和内存使用策略，损失函数设计考虑了推理的准确性和一致性，确保模型在多模态数据上的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MINERVA数据集上，VLX-VR模型达到了78.79%的准确率，超越了比较模型的表现。其在不同时间段的准确率分别为76.70%、78.73%和80.92%，并且在正确回答样本中，96.20%的推理轨迹与参考轨迹一致，显示出模型的高稳定性和可靠性。

🎯 应用场景

VLX-VR模型在视频理解领域具有广泛的应用潜力，尤其是在智能监控、自动驾驶和人机交互等场景中。其动态证据获取能力能够提升系统在复杂环境下的决策质量，未来可能推动相关技术的进步与应用。

📄 摘要（原文）

Real-world video understanding requires integrating visual, audio, textual, and temporal evidence distributed across a video. Yet many pipelines use a fixed video context and single-pass inference, limiting adaptive evidence acquisition when observations are incomplete, ambiguous, or conflicting. We present VLX-VR, an agentic-aware video reasoning model trained within a video reasoning framework defined by a Think--Memory--Observation loop. At each step, VLX-VR determines the needed evidence, invokes read_memory or write_memory, incorporates the returned Observation, and decides whether to continue or produce the task output. We train VLX-VR with multimodal data, including videos and agent trajectories, using reinforcement learning to learn evidence acquisition, memory use, and termination. On MINERVA, VLX-VR achieves state-of-the-art performance among the models included in our comparison, with 78.79% accuracy. Under the original three duration groups, its accuracies are 76.70%, 78.73%, and 80.92%, with a cross-duration accuracy variance of 2.97~$\mathrm{pp}^2$. On correctly answered samples, 96.20% of VLX-VR's reasoning traces are consistent with the MINERVA reference reasoning traces and the evidence described by them, while approximately 75.80% of all evaluated samples satisfy both answer correctness and this evidence-grounded trace criterion. These results show strong performance and broadly stable behavior across durations, while counting, state changes, causal reasoning, and spatial perception remain challenging.