AgentVidBench: A Multi-Hop Video Question Answering Benchmark for Evaluating MLLM Agents

📄 arXiv: 2609.21386v1 📥 PDF

作者: Seoyeon An, Hyeonseo Jang, Minsu Kim, Chanho Lee, Younghan Park, Kangwook Lee

分类: cs.CV, cs.AI

发布日期: 2026-09-18

备注: 36 pages, 8 figures. Code: https://github.com/krafton-ai/agentvidbench Dataset: https://huggingface.co/datasets/agentvidbench/agentvidbench

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

提出AgentVidBench以解决多跳视频问答评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多跳推理 视频问答 多模态学习 智能体评估 视频理解

📋 核心要点

  1. 现有视频理解基准测试主要集中于简单的场景查询，缺乏对复杂多跳推理的评估。
  2. 论文提出AgentVidBench基准，专注于评估MLLM智能体在视频理解中的空间、时间和因果推理能力。
  3. 实验结果显示，单轮模型在AgentVidBench上的表现有限，但集成到智能体工作流后性能显著提升。

📝 摘要（中文）

全面的视频理解对于推动人工智能在物理世界复杂动态中的应用至关重要。尽管多模态大型语言模型（MLLMs）在视频理解方面取得了显著进展，但现有基准测试仍局限于简单的场景级查询或仅需单步推理的全局摘要。现实世界的视频理解涉及更具挑战性的任务，需要多跳多模态推理，而缺乏能够严格评估这些智能体能力的视频基准。为填补这一空白，我们提出了AgentVidBench，一个专注于评估MLLM智能体空间、时间和因果推理能力的多跳视频问答基准。除了标准的问题-答案对，AgentVidBench还提供逐步解决方案跟踪，以支持轨迹评估，评估智能体是否明确获取了证明其答案所需的证据。实验表明，单轮性能在AgentVidBench上仍然有限，而将这些模型整合到最先进的智能体工作流中通常能提高准确性和轨迹得分。我们还提出了一种简单而有效的智能体策略，作为AgentVidBench上的竞争基线，确立了我们的基准作为未来智能体视频理解研究的整体测试平台。

🔬 方法详解

问题定义：本论文旨在解决现有视频理解基准无法评估多跳推理能力的问题。现有方法多集中于简单的场景查询，无法应对复杂的现实视频理解任务。

核心思路：论文提出AgentVidBench基准，通过多跳视频问答的方式，评估智能体在空间、时间和因果推理方面的能力。设计逐步解决方案跟踪，以确保智能体能够获取并证明其答案所需的证据。

技术框架：AgentVidBench的整体架构包括问题生成模块、答案生成模块和轨迹评估模块。问题生成模块负责生成多跳问题，答案生成模块则基于视频内容生成答案，轨迹评估模块用于评估智能体的推理过程。

关键创新：最重要的技术创新在于引入了多跳问答的评估机制，允许对智能体的推理过程进行详细分析。这与现有方法的单步推理评估形成鲜明对比。

关键设计：在设计中，论文采用了特定的损失函数来优化多跳推理的准确性，并通过逐步跟踪的方式确保智能体在回答问题时能够清晰地展示其推理过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，单轮模型在AgentVidBench上的表现仍然有限，准确率和轨迹得分普遍较低。然而，将这些模型整合到先进的智能体工作流中后，性能显著提升，展示了多跳推理在视频理解中的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能视频分析、自动化内容生成和人机交互等。通过提升视频理解的能力，AgentVidBench可以为智能体在复杂环境中的决策提供支持，推动智能体在实际应用中的广泛使用。

📄 摘要（原文）

Comprehensive video understanding is crucial for advancing artificial intelligence toward the intricate dynamics of the physical world. While recent advances in Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in video understanding, existing benchmarks remain confined to simple scene-level queries or global summaries that require only single-step inference. Real-world video understanding involves more challenging tasks that require multi-hop multimodal reasoning, and there is a critical absence of video benchmarks equipped to rigorously evaluate these agentic capabilities. To bridge this gap, we introduce AgentVidBench, a multi-hop video question answering benchmark focused on evaluating the spatial, temporal, and causal reasoning capabilities of MLLM agents. Beyond standard question-answer pairs, AgentVidBench provides step-by-step solution traces to support trajectory evaluation that assesses whether agents explicitly acquire the evidence needed to justify their answers. Experiments with 12 proprietary and open-source MLLMs show that single-turn performance remains limited on AgentVidBench, while integrating these models into state-of-the-art agentic workflows generally improves performance with respect to both accuracy and trajectory scores. We further present a simple yet effective agentic strategy that serves as a competitive baseline on AgentVidBench, establishing our benchmark as a holistic testbed for future research on agentic video understanding. Code and datasets are available at https://github.com/krafton-ai/agentvidbench and https://huggingface.co/datasets/agentvidbench/agentvidbench.