ReXTime: A Benchmark Suite for Reasoning-Across-Time in Videos

📄 arXiv: 2406.19392v2 📥 PDF

作者: Jr-Jen Chen, Yu-Chien Liao, Hsi-Che Lin, Yu-Chu Yu, Yen-Chun Chen, Yu-Chiang Frank Wang

分类: cs.CV

发布日期: 2024-06-27 (更新: 2024-07-02)

备注: Project page: https://rextime.github.io/

💡 一句话要点

ReXTime：一个用于视频中跨时间推理的基准测试套件

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 时间推理 基准测试 问答系统 自动化标注

📋 核心要点

  1. 现有模型在理解视频中跨时间因果关系方面存在不足，难以进行复杂的时间推理。
  2. ReXTime通过自动化流程生成大规模时间推理问答对，构建基准测试集和训练数据集。
  3. 实验表明，即使是先进的大型语言模型在ReXTime上与人类水平仍有显著差距，微调可提升模型性能。

📝 摘要（中文）

本文提出了ReXTime，一个旨在严格测试AI模型在视频事件中执行时间推理能力的基准。ReXTime特别关注跨时间推理，即人类对问题及其对应答案出现在不同视频片段中的理解。这种推理形式需要对视频片段之间的因果关系有深入的理解，这对即使是最先进的多模态大型语言模型也构成了重大挑战。为了方便评估，我们开发了一个自动化的流程来生成时间推理问答对，显著减少了对劳动密集型手动标注的需求。我们的基准包括921个经过仔细审查的验证样本和2,143个测试样本，每个样本都经过手动策划以确保准确性和相关性。评估结果表明，虽然前沿的大型语言模型优于学术模型，但它们仍然落后于人类的表现，存在14.3%的准确率差距。此外，我们的流程创建了一个包含9,695个机器生成样本的训练数据集，无需人工干预，经验研究表明，通过微调可以增强跨时间推理能力。

🔬 方法详解

问题定义：论文旨在解决视频理解中跨时间推理的难题。现有方法通常难以理解视频中不同时间段之间的因果关系，导致无法正确回答需要时间推理的问题。人工标注成本高昂，限制了数据集的规模和多样性。

核心思路：论文的核心思路是构建一个自动化的问答对生成流程，从而能够高效地创建大规模的时间推理数据集。通过精心设计的规则和模板，自动生成问题和答案，减少对人工标注的依赖。

技术框架：ReXTime的整体框架包括以下几个主要阶段：1) 视频事件解析：分析视频内容，提取关键事件和对象。2) 问答对生成：基于事件和对象，利用预定义的模板生成问题和答案。3) 数据集构建：将生成的问答对整理成训练集、验证集和测试集。4) 模型评估：使用ReXTime评估现有模型的跨时间推理能力。

关键创新：ReXTime的关键创新在于其自动化的问答对生成流程。该流程能够高效地生成大规模、高质量的时间推理数据集，从而为训练和评估模型提供了充足的数据支持。与传统的手动标注方法相比，该流程大大降低了成本和时间。

关键设计：自动化问答对生成流程的关键设计包括：1) 精心设计的问答模板，确保问题和答案的逻辑性和相关性。2) 使用自然语言处理技术对问题和答案进行润色，提高其可读性和流畅性。3) 对生成的数据进行过滤和筛选，去除质量较差的样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是前沿的大型语言模型在ReXTime基准测试上的表现也远低于人类水平，存在14.3%的准确率差距。通过使用ReXTime自动生成的训练数据进行微调，可以显著提升模型的跨时间推理能力。这些结果突显了ReXTime在评估和提升视频理解模型方面的重要价值。

🎯 应用场景

ReXTime的研究成果可应用于智能监控、视频搜索、智能教育等领域。例如，在智能监控中，可以利用跨时间推理能力分析异常事件的起因和发展过程。在视频搜索中，可以根据用户的提问，准确地找到包含相关因果关系的视频片段。在智能教育中，可以设计基于视频的互动式学习内容，帮助学生理解复杂的概念。

📄 摘要（原文）

We introduce ReXTime, a benchmark designed to rigorously test AI models' ability to perform temporal reasoning within video events. Specifically, ReXTime focuses on reasoning across time, i.e. human-like understanding when the question and its corresponding answer occur in different video segments. This form of reasoning, requiring advanced understanding of cause-and-effect relationships across video segments, poses significant challenges to even the frontier multimodal large language models. To facilitate this evaluation, we develop an automated pipeline for generating temporal reasoning question-answer pairs, significantly reducing the need for labor-intensive manual annotations. Our benchmark includes 921 carefully vetted validation samples and 2,143 test samples, each manually curated for accuracy and relevance. Evaluation results show that while frontier large language models outperform academic models, they still lag behind human performance by a significant 14.3% accuracy gap. Additionally, our pipeline creates a training dataset of 9,695 machine generated samples without manual effort, which empirical studies suggest can enhance the across-time reasoning via fine-tuning.