Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs

📄 arXiv: 2406.09367v3 📥 PDF

作者: Zijia Zhao, Haoyu Lu, Yuqi Huo, Yifan Du, Tongtian Yue, Longteng Guo, Bingning Wang, Weipeng Chen, Jing Liu

分类: cs.CV

发布日期: 2024-06-13 (更新: 2025-03-07)

备注: ICLR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

VideoNIAH：一种可扩展的视频MLLM合成评估器，用于解决视频理解模型评估难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态大语言模型 合成数据 评估基准 时间感知 时空连贯性 视频检索 VNBench

📋 核心要点

  1. 现有视频理解基准数据集构建成本高昂，且难以隔离特定技能进行评估，限制了视频MLLM的迭代开发。
  2. VideoNIAH通过合成视频生成，将不相关的视觉元素插入视频，并自动生成查询-响应对，实现高效的技能针对性评估。
  3. VNBench基准测试包含检索、排序和计数等任务，评估了时间感知、时间顺序和时空连贯性，并揭示了不同模型能力的差异。

📝 摘要（中文）

本文提出VideoNIAH，一个通过合成视频生成构建基准的框架，旨在解决视频多模态大语言模型（MLLM）评估效率低下的问题。VideoNIAH通过将不相关的视觉“针”插入原始视频中，从而将视频内容与其查询-响应解耦。该框架使用预定义的规则自动生成查询-响应对，最大限度地减少人工劳动。查询侧重于视频理解的特定方面，从而能够进行更具针对性的技能评估。视频内容和查询之间的分离也允许增加视频的多样性以及跨不同长度的评估。利用VideoNIAH，我们构建了一个视频基准VNBench，其中包括检索、排序和计数等任务，以评估视频理解的三个关键方面：时间感知、时间顺序和时空连贯性。我们对专有模型和开源模型进行了全面评估，揭示了它们在各种任务中视频理解能力方面的显着差异。此外，我们对测试结果和模型配置进行了深入分析。基于这些发现，我们为改进视频MLLM训练提供了一些建议，为指导未来的研究和模型开发提供了宝贵的见解。代码和数据可在https://github.com/joez17/VideoNIAH获取。

🔬 方法详解

问题定义：当前视频MLLM的评估面临数据集构建成本高、难以针对特定技能评估的挑战。现有的视频基准测试在迭代开发过程中效率低下，阻碍了模型的快速改进。

核心思路：VideoNIAH的核心思路是通过合成视频生成来构建评估基准。通过在原始视频中插入不相关的视觉“针”（Needles），将视频内容与查询-响应解耦。这种方法允许独立控制视频内容和评估目标，从而实现更高效和更具针对性的评估。

技术框架：VideoNIAH框架包含以下主要模块：1) 视频内容选择模块：选择或生成原始视频素材。2) 视觉“针”插入模块：将不相关的视觉元素（“针”）插入到视频中。3) 查询-响应生成模块：根据预定义的规则，自动生成针对特定视频理解技能的查询和相应的答案。4) 评估模块：使用生成的查询-响应对评估视频MLLM的性能。整体流程是先准备视频，然后插入干扰元素，最后生成问题和答案进行评估。

关键创新：VideoNIAH的关键创新在于其合成数据生成方法，它允许以低成本和高效率的方式创建大规模、多样化的视频评估基准。与传统的人工标注方法相比，VideoNIAH显著降低了数据集构建的成本和时间。此外，通过控制插入的“针”和生成的查询，可以实现对特定视频理解技能的精确评估。

关键设计：VideoNIAH的关键设计包括：1) “针”的选择和插入策略：选择与原始视频内容无关的视觉元素作为“针”，并采用随机或特定的插入位置和时间。2) 查询-响应生成规则：根据不同的视频理解技能（例如，时间感知、时间顺序、时空连贯性）设计不同的查询类型和答案生成方法。3) VNBench基准测试的设计：VNBench包含检索、排序和计数等任务，以全面评估视频MLLM的性能。

🖼️ 关键图片

img_0

📊 实验亮点

论文构建了VNBench基准测试，并对多个开源和商业视频MLLM进行了评估。实验结果表明，不同模型在时间感知、时间顺序和时空连贯性方面存在显著差异。通过对测试结果和模型配置的深入分析，论文为改进视频MLLM的训练提供了有价值的见解。

🎯 应用场景

VideoNIAH框架可用于评估和改进各种视频理解模型，包括视频检索、视频问答、视频摘要等。它能够加速视频MLLM的开发迭代过程，并推动视频理解技术在智能监控、自动驾驶、机器人等领域的应用。该框架还可用于教育领域，帮助学生更好地理解视频内容。

📄 摘要（原文）

Video understanding is a crucial next step for multimodal large language models (MLLMs). Various benchmarks are introduced for better evaluating the MLLMs. Nevertheless, current video benchmarks are still inefficient for evaluating video models during iterative development due to the high cost of constructing datasets and the difficulty in isolating specific skills. In this paper, we propose VideoNIAH (Video Needle In A Haystack), a benchmark construction framework through synthetic video generation. VideoNIAH decouples video content from their query-responses by inserting unrelated visual 'needles' into original videos. The framework automates the generation of query-response pairs using predefined rules, minimizing manual labor. The queries focus on specific aspects of video understanding, enabling more skill-specific evaluations. The separation between video content and the queries also allow for increased video variety and evaluations across different lengths. Utilizing VideoNIAH, we compile a video benchmark VNBench, which includes tasks such as retrieval, ordering, and counting to evaluate three key aspects of video understanding: temporal perception, chronological ordering, and spatio-temporal coherence. We conduct a comprehensive evaluation of both proprietary and open-source models, uncovering significant differences in their video understanding capabilities across various tasks. Additionally, we perform an in-depth analysis of the test results and model configurations. Based on these findings, we provide some advice for improving video MLLM training, offering valuable insights to guide future research and model development. The code and data are available at https://github.com/joez17/VideoNIAH.