VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection

📄 arXiv: 2411.14794v1 📥 PDF

作者: Songhao Han, Wei Huang, Hairong Shi, Le Zhuo, Xiu Su, Shifeng Zhang, Xu Zhou, Xiaojuan Qi, Yue Liao, Si Liu

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-11-22

备注: 14 pages, 14 figures

🔗 代码/项目: GITHUB

💡 一句话要点

VideoEspresso：通过核心帧选择实现细粒度视频推理的大规模CoT数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频问答 多模态学习 思维链 大规模数据集 视觉语言模型

📋 核心要点

  1. 现有VideoQA数据集依赖人工标注或冗余的逐帧分析，缺乏高质量和可扩展性，限制了复杂视频推理任务的性能。
  2. VideoEspresso数据集通过语义感知方法减少冗余，利用GPT-4o生成QA对和CoT注释，构建高质量的视频推理数据集。
  3. 提出的混合LVLMs协作框架，通过帧选择器和两阶段指令微调，在多个任务上超越现有基线，提升视频推理能力。

📝 摘要（中文）

大型视觉语言模型(LVLMs)的进步显著提升了多模态理解能力，但由于缺乏高质量、大规模数据集，视频推理任务仍然面临挑战。现有的视频问答(VideoQA)数据集通常依赖于成本高昂的人工标注，但粒度不足，或者采用自动构建方法，但存在冗余的逐帧分析，限制了它们的可扩展性和对复杂推理的有效性。为了应对这些挑战，我们推出了VideoEspresso，这是一个新颖的数据集，包含保留基本空间细节和时间连贯性的VideoQA对，以及中间推理步骤的多模态注释。我们的构建流程采用了一种语义感知方法来减少冗余，然后使用GPT-4o生成QA对。我们进一步开发了视频思维链(CoT)注释，以丰富推理过程，指导GPT-4o从QA对和视频内容中提取逻辑关系。为了挖掘高质量VideoQA对的潜力，我们提出了一个混合LVLMs协作框架，该框架包含一个帧选择器和一个两阶段指令微调推理LVLM。该框架自适应地选择核心帧，并使用多模态证据执行CoT推理。在我们的基准测试中，针对9个流行的LVLM进行了14个任务的评估，我们的方法在大多数任务上优于现有的基线，证明了卓越的视频推理能力。我们的代码和数据集将在https://github.com/hshjerry/VideoEspresso上发布。

🔬 方法详解

问题定义：现有VideoQA数据集存在标注成本高、粒度不足或帧分析冗余的问题，难以支持复杂视频推理任务。这些数据集无法充分利用大型视觉语言模型(LVLMs)的潜力，阻碍了视频理解领域的发展。

核心思路：VideoEspresso的核心思路是构建一个高质量、大规模的VideoQA数据集，该数据集既能保留关键的空间细节和时间连贯性，又能通过CoT注释提供中间推理步骤。通过语义感知方法减少帧冗余，并利用GPT-4o生成QA对和CoT，从而降低标注成本并提高数据质量。

技术框架：VideoEspresso的构建流程包含以下几个主要阶段：1) 语义感知帧选择：通过算法选择包含关键信息的帧，减少冗余。2) QA对生成：利用GPT-4o根据选定的帧生成高质量的问答对。3) CoT注释：使用GPT-4o为每个QA对生成思维链，提供推理过程的中间步骤。此外，论文还提出了一个混合LVLMs协作框架，包含一个帧选择器和一个两阶段指令微调推理LVLM，用于利用VideoEspresso数据集进行视频推理。

关键创新：VideoEspresso的关键创新在于其数据集构建方法和混合LVLMs协作框架。数据集构建方法通过语义感知帧选择和GPT-4o生成，实现了高质量和可扩展性。混合LVLMs协作框架通过帧选择器和两阶段指令微调，有效利用了多模态信息，提升了视频推理性能。

关键设计：在数据集构建方面，语义感知帧选择的具体算法未知。在混合LVLMs协作框架中，帧选择器的具体实现方式未知，两阶段指令微调推理LVLM的具体网络结构和损失函数也未知。但整体框架强调了核心帧选择和CoT推理的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VideoEspresso数据集在14个视频推理任务上进行了评估，结果表明，提出的混合LVLMs协作框架在大多数任务上优于现有的基线方法。具体性能数据和提升幅度未知，但实验结果证明了该方法在视频推理方面的优越性。

🎯 应用场景

VideoEspresso数据集和混合LVLMs协作框架可应用于智能监控、自动驾驶、视频内容分析、智能客服等领域。该研究有助于提升机器对视频内容的理解和推理能力，实现更智能化的视频处理和应用。

📄 摘要（原文）

The advancement of Large Vision Language Models (LVLMs) has significantly improved multimodal understanding, yet challenges remain in video reasoning tasks due to the scarcity of high-quality, large-scale datasets. Existing video question-answering (VideoQA) datasets often rely on costly manual annotations with insufficient granularity or automatic construction methods with redundant frame-by-frame analysis, limiting their scalability and effectiveness for complex reasoning. To address these challenges, we introduce VideoEspresso, a novel dataset that features VideoQA pairs preserving essential spatial details and temporal coherence, along with multimodal annotations of intermediate reasoning steps. Our construction pipeline employs a semantic-aware method to reduce redundancy, followed by generating QA pairs using GPT-4o. We further develop video Chain-of-Thought (CoT) annotations to enrich reasoning processes, guiding GPT-4o in extracting logical relationships from QA pairs and video content. To exploit the potential of high-quality VideoQA pairs, we propose a Hybrid LVLMs Collaboration framework, featuring a Frame Selector and a two-stage instruction fine-tuned reasoning LVLM. This framework adaptively selects core frames and performs CoT reasoning using multimodal evidence. Evaluated on our proposed benchmark with 14 tasks against 9 popular LVLMs, our method outperforms existing baselines on most tasks, demonstrating superior video reasoning capabilities. Our code and dataset will be released at: https://github.com/hshjerry/VideoEspresso