TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models

📄 arXiv: 2410.10818v2 📥 PDF

作者: Mu Cai, Reuben Tan, Jianrui Zhang, Bocheng Zou, Kai Zhang, Feng Yao, Fangrui Zhu, Jing Gu, Yiwu Zhong, Yuzhang Shang, Yao Dou, Jaden Park, Jianfeng Gao, Yong Jae Lee, Jianwei Yang

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2024-10-14 (更新: 2024-10-15)

备注: Project Page: https://temporalbench.github.io/

💡 一句话要点

TemporalBench：用于多模态视频模型细粒度时序理解的基准测试

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 时序推理 多模态学习 基准测试 视频问答

📋 核心要点

  1. 现有视频基准测试缺乏细粒度时序标注，无法有效评估模型对时序信息的理解能力。
  2. TemporalBench通过高质量人工标注构建大规模视频问答数据集，专注于评估模型对动作频率、事件顺序等时序动态的理解。
  3. 实验表明，现有SOTA模型在TemporalBench上表现不佳，与人类水平差距显著，凸显了时序理解的挑战性。

📝 摘要（中文）

本文提出了TemporalBench，一个新的基准测试，专门用于评估视频中细粒度的时序理解能力。TemporalBench包含约1万个视频问答对，这些问答对来源于约2千个高质量的人工标注，详细描述了视频片段中的时序动态。因此，该基准测试为评估各种时序理解和推理能力（如动作频率、运动幅度、事件顺序等）提供了一个独特的测试平台。此外，它还支持对各种任务的评估，如视频问答和视频字幕生成、短视频和长视频理解，以及不同的模型，如多模态视频嵌入模型和文本生成模型。实验结果表明，最先进的模型（如GPT-4o）在TemporalBench上的问答准确率仅为38.5%，表明人工智能在时序理解方面与人类存在显著差距（约30%）。此外，我们注意到多项选择题存在一个关键缺陷，即LLM可以检测到负面字幕中的细微变化，并找到一个集中的描述作为其预测的线索，为此我们提出了多重二元准确率（MBA）来纠正这种偏差。我们希望TemporalBench能够促进对提高模型时序推理能力的研究。数据集和评估代码都将开源。

🔬 方法详解

问题定义：现有视频基准测试在评估模型对视频中细粒度时序动态的理解方面存在不足。这些基准测试通常缺乏足够详细的时序标注，使得模型难以学习和推理视频中的时间关系，例如动作发生的频率、事件发生的顺序以及运动的幅度等。这导致模型在处理需要理解时间信息的任务时表现不佳。

核心思路：TemporalBench的核心思路是通过构建一个包含高质量、细粒度时序标注的视频问答数据集，来专门评估模型对视频时序信息的理解能力。该数据集的设计目标是覆盖各种时序理解和推理能力，例如动作频率、运动幅度、事件顺序等，从而为研究人员提供一个更具挑战性和代表性的测试平台。

技术框架：TemporalBench的构建流程主要包括以下几个阶段：1) 视频片段选择：选择包含丰富时序动态的视频片段。2) 人工标注：由人工标注员对视频片段中的时序信息进行详细标注，包括动作、事件及其发生的时间。3) 问题生成：基于标注信息，生成与视频时序信息相关的问答对。4) 数据集构建：将视频片段、标注信息和问答对整合为TemporalBench数据集。此外，论文还提出了多重二元准确率（MBA）来纠正多项选择题中的偏差。

关键创新：TemporalBench的关键创新在于其高质量、细粒度的时序标注，以及针对多项选择题偏差提出的多重二元准确率（MBA）。与现有视频基准测试相比，TemporalBench更专注于评估模型对视频时序信息的理解能力，并提供了一个更具挑战性和代表性的测试平台。MBA则能够更准确地评估模型在多项选择题中的表现，避免模型通过检测负面字幕中的细微变化来作弊。

关键设计：TemporalBench数据集包含约1万个视频问答对，来源于约2千个高质量的人工标注。数据集覆盖了各种时序理解和推理能力，例如动作频率、运动幅度、事件顺序等。在评估方面，论文提出了多重二元准确率（MBA），其计算方式是将每个多项选择题分解为多个二元选择题，并计算模型在每个二元选择题上的准确率，然后将这些准确率进行平均，从而得到最终的MBA分数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是GPT-4o这样的先进模型在TemporalBench上的问答准确率也仅为38.5%，与人类水平（约70%）存在显著差距。这表明现有模型在理解视频中的细粒度时序信息方面仍面临巨大挑战。此外，论文提出的MBA指标能够更准确地评估模型在多项选择题中的表现，有效纠正了传统评估方法中的偏差。

🎯 应用场景

TemporalBench可应用于提升视频理解、视频生成等领域模型的时序推理能力。例如，可用于训练更智能的视频问答系统、视频字幕生成模型，以及更精确的视频内容分析和检索系统。该基准测试有望推动人工智能在理解和生成具有时间连贯性的视频内容方面取得进展。

📄 摘要（原文）

Understanding fine-grained temporal dynamics is crucial for multimodal video comprehension and generation. Due to the lack of fine-grained temporal annotations, existing video benchmarks mostly resemble static image benchmarks and are incompetent at evaluating models for temporal understanding. In this paper, we introduce TemporalBench, a new benchmark dedicated to evaluating fine-grained temporal understanding in videos. TemporalBench consists of ~10K video question-answer pairs, derived from ~2K high-quality human annotations detailing the temporal dynamics in video clips. As a result, our benchmark provides a unique testbed for evaluating various temporal understanding and reasoning abilities such as action frequency, motion magnitude, event order, etc. Moreover, it enables evaluations on various tasks like both video question answering and captioning, both short and long video understanding, as well as different models such as multimodal video embedding models and text generation models. Results show that state-of-the-art models like GPT-4o achieve only 38.5% question answering accuracy on TemporalBench, demonstrating a significant gap (~30%) between humans and AI in temporal understanding. Furthermore, we notice a critical pitfall for multi-choice QA where LLMs can detect the subtle changes in negative captions and find a centralized description as a cue for its prediction, where we propose Multiple Binary Accuracy (MBA) to correct such bias. We hope that TemporalBench can foster research on improving models' temporal reasoning capabilities. Both dataset and evaluation code will be made available.