InstructionBench: An Instructional Video Understanding Benchmark

📄 arXiv: 2504.05040v2 📥 PDF

作者: Haiwan Wei, Yitian Yuan, Xiaohan Lan, Wei Ke, Lin Ma

分类: cs.CV

发布日期: 2025-04-07 (更新: 2025-06-30)

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出InstructionBench，用于评估视频大语言模型在教学视频理解中的时序推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 教学视频理解 时序推理 视频问答 视频大语言模型 基准数据集

📋 核心要点

  1. 现有视频大语言模型在教学视频理解方面能力不足，尤其是在时序推理方面面临挑战。
  2. InstructionBench基准通过构建高质量问答对，侧重考察模型在教学视频中的事件和对象级别的时序推理能力。
  3. 实验结果表明，即使是目前最先进的模型在InstructionBench上的表现仍有较大提升空间，突显了时序推理的难度。

📝 摘要（中文）

本文提出了InstructionBench，一个用于评估教学视频理解能力的新基准。该基准旨在挑战模型在教学视频中进行高级时序推理的能力，这类视频通常具有严格的步骤流程。利用GPT-4，构建了开放式和多项选择题形式的问答对，以评估粗粒度的事件级别和细粒度的对象级别推理。过滤策略排除了仅凭常识知识即可回答的问题，侧重于评估视频大语言模型在视觉感知和分析方面的能力。最终，该基准包含700多个视频中的5000个问题。对最新的视频大语言模型进行了评估，发现闭源模型优于开源模型。然而，即使是最好的模型GPT-4o，也仅达到53.42%的准确率，表明在时序推理方面存在显著差距。为了推动该领域的发展，还开发了一个包含近2500个视频中超过19000个问答对的综合教学视频数据集，使用自动化数据生成框架，从而丰富了社区的研究资源。所有数据均可在https://huggingface.co/datasets/sunwhw/InstructionBench获取。

🔬 方法详解

问题定义：现有视频大语言模型在理解教学视频，特别是进行时序推理方面存在不足。教学视频通常包含严格的步骤流程，需要模型理解事件发生的先后顺序以及对象之间的关系。现有方法难以有效捕捉这种时序依赖关系，导致理解不准确。

核心思路：InstructionBench的核心思路是构建一个高质量的教学视频问答数据集，该数据集中的问题需要模型进行高级时序推理才能回答。通过设计特定的过滤策略，确保问题不能仅凭常识知识回答，而是需要模型对视频内容进行视觉感知和分析。

技术框架：InstructionBench的构建流程主要包括以下几个阶段：1) 收集教学视频；2) 使用GPT-4生成候选问答对；3) 设计过滤策略，排除仅凭常识知识即可回答的问题；4) 人工审核和修正问答对，确保质量；5) 构建开放式和多项选择题两种形式的问答对，分别评估不同粒度的推理能力。

关键创新：InstructionBench的关键创新在于其专注于教学视频的时序推理能力评估，并设计了有效的过滤策略，确保问题需要模型进行视觉感知和分析才能回答。此外，该基准还提供了大规模的教学视频问答数据集，为研究人员提供了丰富的资源。

关键设计：InstructionBench使用了GPT-4来生成候选问答对，并设计了多种过滤规则来排除常识性问题。例如，使用关键词过滤、语义相似度分析等方法来判断问题是否可以通过常识知识回答。此外，还采用了人工审核的方式来确保问答对的质量和准确性。数据集包含粗粒度的事件级别和细粒度的对象级别推理问题，以全面评估模型的时序推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在InstructionBench上的实验结果表明，闭源模型（如GPT-4o）优于开源模型，但即使是GPT-4o也仅达到53.42%的准确率，表明现有模型在教学视频时序推理方面仍有很大的提升空间。该基准的发布为研究人员提供了一个评估和改进视频大语言模型时序推理能力的平台。

🎯 应用场景

InstructionBench的潜在应用领域包括智能教育、机器人辅助教学、视频检索和内容理解等。通过提高模型对教学视频的理解能力，可以实现更智能的在线学习平台、更高效的教学辅助工具，以及更精准的视频内容推荐。该研究有助于推动视频理解技术在教育领域的应用，提升学习效率和用户体验。

📄 摘要（原文）

Despite progress in video large language models (Video-LLMs), research on instructional video understanding, crucial for enhancing access to instructional content, remains insufficient. To address this, we introduce InstructionBench, an Instructional video understanding Benchmark, which challenges models' advanced temporal reasoning within instructional videos characterized by their strict step-by-step flow. Employing GPT-4, we formulate Q&A pairs in open-ended and multiple-choice formats to assess both Coarse-Grained event-level and Fine-Grained object-level reasoning. Our filtering strategies exclude questions answerable purely by common-sense knowledge, focusing on visual perception and analysis when evaluating Video-LLM models. The benchmark finally contains 5k questions across over 700 videos. We evaluate the latest Video-LLMs on our InstructionBench, finding that closed-source models outperform open-source ones. However, even the best model, GPT-4o, achieves only 53.42% accuracy, indicating significant gaps in temporal reasoning. To advance the field, we also develop a comprehensive instructional video dataset with over 19k Q&A pairs from nearly 2.5k videos, using an automated data generation framework, thereby enriching the community's research resources. All data are available at https://huggingface.co/datasets/sunwhw/InstructionBench.