HourVideo: 1-Hour Video-Language Understanding

📄 arXiv: 2411.04998v1 📥 PDF

作者: Keshigeyan Chandrasegaran, Agrim Gupta, Lea M. Hadzic, Taran Kota, Jimming He, Cristóbal Eyzaguirre, Zane Durante, Manling Li, Jiajun Wu, Li Fei-Fei

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-11-07

备注: NeurIPS 2024 Datasets and Benchmarks Track; 28 pages

💡 一句话要点

提出HourVideo基准数据集，用于评估和推进1小时长视频的视频-语言理解能力。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 视频语言理解 基准数据集 多模态学习 视觉推理 Ego4D 第一人称视角视频

📋 核心要点

  1. 现有方法在处理长时视频的视频-语言理解任务时面临挑战，缺乏专门的基准数据集进行有效评估。
  2. HourVideo数据集通过构建包含多种任务的评估套件，旨在全面评估模型在长时视频理解方面的能力。
  3. 实验结果表明，现有模型在HourVideo数据集上表现不佳，与人类专家存在显著差距，揭示了该领域的巨大潜力。

📝 摘要（中文）

本文提出了HourVideo，一个用于小时级别长视频-语言理解的基准数据集。该数据集包含一个新颖的任务套件，涵盖了摘要生成、感知（召回、跟踪）、视觉推理（空间、时间、预测、因果、反事实）和导航（房间到房间、物体检索）等任务。HourVideo包含500个手工整理的来自Ego4D数据集的第一人称视角视频，视频时长从20分钟到120分钟不等，并包含12976个高质量的五选一多项选择题。基准测试结果表明，包括GPT-4和LLaVA-NeXT在内的多模态模型仅比随机猜测略有提升。与此形成鲜明对比的是，人类专家明显优于最先进的长上下文多模态模型Gemini Pro 1.5（85.0% vs. 37.3%），突显了多模态能力方面的巨大差距。我们的基准、评估工具包、提示和文档可在https://hourvideo.stanford.edu获取。

🔬 方法详解

问题定义：论文旨在解决长时视频（1小时级别）的视频-语言理解问题。现有方法在处理如此长的视频时，面临着计算复杂度高、信息冗余、难以捕捉长期依赖关系等挑战，并且缺乏专门的基准数据集来评估模型在该领域的性能。

核心思路：论文的核心思路是构建一个高质量、多样化的基准数据集HourVideo，包含多种任务，以全面评估模型在长时视频理解方面的能力。通过提供具有挑战性的任务和详尽的评估指标，促进长时视频理解领域的研究进展。

技术框架：HourVideo数据集的构建流程主要包括以下几个阶段：1) 从Ego4D数据集中筛选出时长在20-120分钟的第一人称视角视频；2) 设计包含摘要生成、感知、视觉推理和导航等任务的评估套件；3) 为每个视频生成高质量的五选一多项选择题，总计12976道题；4) 提供评估工具包和详细的文档，方便研究人员使用该数据集进行实验。

关键创新：HourVideo数据集的关键创新在于其专注于小时级别的长时视频理解，并提供了一个包含多种任务的综合评估套件。与现有的短视频数据集相比，HourVideo更具挑战性，能够更好地反映模型在实际应用中的性能。此外，数据集中的问题经过精心设计，涵盖了视频内容的多个方面，能够全面评估模型的理解能力。

关键设计：HourVideo数据集的关键设计包括：1) 视频时长：20-120分钟，确保视频内容足够丰富，能够考察模型对长期依赖关系的理解能力；2) 任务类型：摘要生成、感知、视觉推理和导航，涵盖了视频理解的多个方面；3) 问题类型：五选一多项选择题，方便进行自动化评估；4) 数据集规模：500个视频和12976道题，保证了数据集的统计有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，现有最先进的多模态模型（包括GPT-4和LLaVA-NeXT）在HourVideo数据集上的表现仅略高于随机猜测，而人类专家则明显优于这些模型（85.0% vs. 37.3%，Gemini Pro 1.5）。这表明当前模型在长时视频理解方面仍存在显著差距，HourVideo数据集为未来的研究提供了明确的方向。

🎯 应用场景

HourVideo数据集的潜在应用领域包括智能监控、机器人导航、人机交互、视频内容分析等。该数据集可以用于训练和评估模型在复杂环境下的长时间行为理解能力，从而提高相关应用的智能化水平。例如，在智能家居中，机器人可以利用HourVideo数据集训练的模型来理解用户的日常活动，并提供个性化的服务。

📄 摘要（原文）

We present HourVideo, a benchmark dataset for hour-long video-language understanding. Our dataset consists of a novel task suite comprising summarization, perception (recall, tracking), visual reasoning (spatial, temporal, predictive, causal, counterfactual), and navigation (room-to-room, object retrieval) tasks. HourVideo includes 500 manually curated egocentric videos from the Ego4D dataset, spanning durations of 20 to 120 minutes, and features 12,976 high-quality, five-way multiple-choice questions. Benchmarking results reveal that multimodal models, including GPT-4 and LLaVA-NeXT, achieve marginal improvements over random chance. In stark contrast, human experts significantly outperform the state-of-the-art long-context multimodal model, Gemini Pro 1.5 (85.0% vs. 37.3%), highlighting a substantial gap in multimodal capabilities. Our benchmark, evaluation toolkit, prompts, and documentation are available at https://hourvideo.stanford.edu