IV-Bench: A Benchmark for Image-Grounded Video Perception and Reasoning in Multimodal LLMs

📄 arXiv: 2504.15415v1 📥 PDF

作者: David Ma, Yuanxing Zhang, Jincheng Ren, Jarvis Guo, Yifan Yao, Zhenlin Wei, Zhenzhu Yang, Zhongyuan Peng, Boyu Feng, Jun Ma, Xiao Gu, Zhoufutu Wen, King Zhu, Yancheng He, Meng Cao, Shiwen Ni, Jiaheng Liu, Wenhao Huang, Ge Zhang, Xiaojie Jin

分类: cs.CV, cs.CL

发布日期: 2025-04-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出IV-Bench基准，评估多模态LLM在图像引导下的视频感知与推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视频理解 图像引导 基准测试 大型语言模型

📋 核心要点

  1. 现有MLLM评估框架主要关注图像推理或通用视频理解，忽略了图像上下文在视频理解中的重要作用。
  2. IV-Bench通过构建包含图像-文本查询的视频数据集，旨在评估模型在图像引导下对视频内容进行感知和推理的能力。
  3. 实验表明，现有MLLM在IV-Bench上的性能远低于预期，最高准确率仅为28.9%，表明图像引导的视频理解仍面临挑战。

📝 摘要（中文）

本文提出了IV-Bench，这是一个全面的基准，用于评估多模态大型语言模型（MLLM）在图像引导下的视频感知和推理能力。IV-Bench包含967个视频，并配有2585个精心标注的图像-文本查询，涵盖13个任务（7个感知任务和6个推理任务）和5个代表性类别。对最先进的开源（如InternVL2.5、Qwen2.5-VL）和闭源（如GPT-4o、Gemini2-Flash和Gemini2-Pro）MLLM的广泛评估表明，当前模型在图像引导下的视频感知和推理方面表现不佳，准确率最高仅为28.9%。进一步的分析揭示了影响模型在IV-Bench上性能的关键因素，包括推理模式、帧数和分辨率。此外，通过一个简单的数据合成方法，证明了IV-Bench的挑战不仅仅在于对齐训练过程中的数据格式。这些发现为未来的研究提供了有价值的见解。代码和数据已在https://github.com/multimodal-art-projection/IV-Bench上发布。

🔬 方法详解

问题定义：现有的大型多模态模型（MLLM）在视频理解方面取得了显著进展，但它们通常侧重于通用视频理解或图像推理，而忽略了图像上下文在视频理解中的关键作用。现有的评估框架未能充分衡量模型利用图像信息来增强视频理解的能力。因此，需要一个专门的基准来评估MLLM在图像引导下的视频感知和推理能力。

核心思路：IV-Bench的核心思路是构建一个包含视频和相关图像-文本查询的数据集，这些查询需要模型利用图像信息来理解视频内容。通过设计各种感知和推理任务，IV-Bench旨在全面评估MLLM在图像引导下的视频理解能力。这种设计能够更准确地反映模型在实际应用中处理复杂多模态信息的能力。

技术框架：IV-Bench包含以下主要组成部分：1) 视频数据集：包含967个视频，涵盖5个代表性类别。2) 图像-文本查询：每个视频配有多个精心标注的图像-文本查询，共计2585个。3) 评估任务：包括7个感知任务和6个推理任务，旨在评估模型在不同方面的图像引导视频理解能力。4) 评估指标：使用准确率等指标来衡量模型在各个任务上的性能。整体流程是，给定一个视频和相关的图像-文本查询，MLLM需要根据图像信息来回答查询，然后根据答案计算准确率。

关键创新：IV-Bench的主要创新在于其专注于评估MLLM在图像引导下的视频感知和推理能力。与现有的视频理解基准不同，IV-Bench强调图像上下文在视频理解中的作用，并设计了专门的图像-文本查询来评估模型利用图像信息的能力。此外，IV-Bench还提供了对模型性能影响因素的深入分析，例如推理模式、帧数和分辨率。

关键设计：IV-Bench的关键设计包括：1) 多样化的任务设计：涵盖感知和推理两个方面，旨在全面评估模型的视频理解能力。2) 精心标注的图像-文本查询：确保查询能够准确反映视频内容，并需要模型利用图像信息来回答。3) 对模型性能影响因素的分析：通过实验分析，揭示了影响模型性能的关键因素，为未来的模型改进提供了指导。4) 数据合成实验：验证了IV-Bench的挑战性，不仅仅在于数据格式的对齐。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，当前最先进的MLLM在IV-Bench上的性能远低于预期，最高准确率仅为28.9%。闭源模型如GPT-4o和Gemini2-Pro在某些任务上表现略好于开源模型，但整体性能仍然有限。分析表明，推理模式、帧数和分辨率等因素对模型性能有显著影响。数据合成实验进一步验证了IV-Bench的挑战性，表明仅仅对齐数据格式无法显著提升模型性能。

🎯 应用场景

IV-Bench的研究成果可应用于视频内容分析、智能监控、自动驾驶等领域。通过提升模型在图像引导下的视频理解能力，可以实现更准确的视频内容识别、更智能的事件检测和更可靠的决策支持。未来，该基准可以促进多模态LLM在视频理解方面的进一步发展，推动相关技术在实际场景中的应用。

📄 摘要（原文）

Existing evaluation frameworks for Multimodal Large Language Models (MLLMs) primarily focus on image reasoning or general video understanding tasks, largely overlooking the significant role of image context in video comprehension. To bridge this gap, we propose IV-Bench, the first comprehensive benchmark for evaluating Image-Grounded Video Perception and Reasoning. IV-Bench consists of 967 videos paired with 2,585 meticulously annotated image-text queries across 13 tasks (7 perception and 6 reasoning tasks) and 5 representative categories. Extensive evaluations of state-of-the-art open-source (e.g., InternVL2.5, Qwen2.5-VL) and closed-source (e.g., GPT-4o, Gemini2-Flash and Gemini2-Pro) MLLMs demonstrate that current models substantially underperform in image-grounded video Perception and Reasoning, merely achieving at most 28.9% accuracy. Further analysis reveals key factors influencing model performance on IV-Bench, including inference pattern, frame number, and resolution. Additionally, through a simple data synthesis approach, we demonstratethe challenges of IV- Bench extend beyond merely aligning the data format in the training proecss. These findings collectively provide valuable insights for future research. Our codes and data are released in https://github.com/multimodal-art-projection/IV-Bench.