VEU-Bench: Towards Comprehensive Understanding of Video Editing

📄 arXiv: 2504.17828v1 📥 PDF

作者: Bozheng Li, Yongliang Wu, Yi Lu, Jiashuo Yu, Licheng Tang, Jiawang Cao, Wenqing Zhu, Yuyang Sun, Jay Wu, Wenbo Zhu

分类: cs.CV, cs.AI

发布日期: 2025-04-24

备注: Accepted to CVPR2025

💡 一句话要点

提出VEU-Bench，用于评估和提升视频大语言模型在视频编辑理解方面的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频编辑理解 视频大语言模型 基准测试 VEU-Bench 视频推理 视频识别 视频判断

📋 核心要点

  1. 现有视频大语言模型在通用视频理解任务上取得了显著进展，但在视频编辑理解任务中的能力仍有待探索。
  2. 论文构建了一个全面的视频编辑理解基准测试VEU-Bench，涵盖识别、推理和判断三个阶段的19个细粒度任务。
  3. 通过在VEU-Bench上微调，VEU专家模型Oscars的性能显著优于现有开源模型，并在通用视频理解任务上取得了提升。

📝 摘要（中文）

本文提出了视频编辑理解基准测试VEU-Bench，旨在评估视频大语言模型（Vid-LLM）在视频编辑理解（VEU）任务中的能力。VEU-Bench涵盖了从帧内特征（如镜头大小）到镜头间属性（如剪辑类型和转场）的各种视频编辑组件，包含识别、推理和判断三个阶段的19个细粒度任务。为了自动增强VEU的标注，构建了一个与基于本体的知识库集成的标注流程。实验结果表明，现有的Vid-LLM在VEU任务中面临重大挑战，甚至不如随机选择。为此，开发了VEU专家模型Oscars，通过在VEU-Bench数据集上进行微调，其性能优于现有开源Vid-LLM 28.3% 以上，并达到与GPT-4o等商业模型相当的水平。此外，将VEU数据纳入训练可以显著提高Vid-LLM在通用视频理解基准测试中的性能，在九个推理任务中平均提升8.3%。

🔬 方法详解

问题定义：当前视频大语言模型（Vid-LLM）在理解视频编辑方面的能力不足，缺乏专门的基准测试来评估和提升模型在此方面的性能。现有的视频编辑理解基准测试主要集中在编辑元素分类上，缺乏对视频编辑更深层次的推理和判断能力的考察。

核心思路：论文的核心思路是构建一个全面的视频编辑理解基准测试VEU-Bench，该基准测试不仅包含编辑元素的识别，还涵盖了推理和判断等更高级的任务。通过该基准测试，可以更全面地评估Vid-LLM在视频编辑理解方面的能力，并为模型的改进提供指导。

技术框架：VEU-Bench的构建包括以下几个主要步骤：首先，定义视频编辑理解的维度，包括帧内特征（如镜头大小）和镜头间属性（如剪辑类型和转场）。然后，基于这些维度，设计了19个细粒度的任务，涵盖识别、推理和判断三个阶段。为了自动增强VEU的标注，构建了一个与基于本体的知识库集成的标注流程。最后，使用该基准测试评估了11个最先进的Vid-LLM。

关键创新：VEU-Bench的关键创新在于其全面性和细粒度。与以往的视频编辑理解基准测试相比，VEU-Bench不仅包含编辑元素的识别，还涵盖了推理和判断等更高级的任务。此外，VEU-Bench还提供了一个自动标注流程，可以有效地生成大规模的标注数据。

关键设计：VEU-Bench包含了19个细粒度任务，这些任务涵盖了视频编辑的各个方面，例如镜头大小识别、剪辑类型判断、转场效果推理等。为了评估模型的性能，使用了准确率等指标。VEU专家模型Oscars的训练使用了交叉熵损失函数，并采用了Adam优化器进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的Vid-LLM在VEU-Bench上表现不佳，甚至不如随机选择。通过在VEU-Bench上微调，VEU专家模型Oscars的性能显著优于现有开源Vid-LLM 28.3% 以上，并达到与GPT-4o等商业模型相当的水平。此外，将VEU数据纳入训练可以显著提高Vid-LLM在通用视频理解基准测试中的性能，在九个推理任务中平均提升8.3%。

🎯 应用场景

该研究成果可应用于智能视频编辑、视频内容分析、视频推荐系统等领域。通过提升视频大语言模型对视频编辑的理解能力，可以实现更智能的视频编辑工具，更准确的视频内容分析，以及更个性化的视频推荐服务。未来，该研究还可以扩展到其他视频理解任务，例如视频摘要、视频问答等。

📄 摘要（原文）

Widely shared videos on the internet are often edited. Recently, although Video Large Language Models (Vid-LLMs) have made great progress in general video understanding tasks, their capabilities in video editing understanding (VEU) tasks remain unexplored. To address this gap, in this paper, we introduce VEU-Bench (Video Editing Understanding Benchmark), a comprehensive benchmark that categorizes video editing components across various dimensions, from intra-frame features like shot size to inter-shot attributes such as cut types and transitions. Unlike previous video editing understanding benchmarks that focus mainly on editing element classification, VEU-Bench encompasses 19 fine-grained tasks across three stages: recognition, reasoning, and judging. To enhance the annotation of VEU automatically, we built an annotation pipeline integrated with an ontology-based knowledge base. Through extensive experiments with 11 state-of-the-art Vid-LLMs, our findings reveal that current Vid-LLMs face significant challenges in VEU tasks, with some performing worse than random choice. To alleviate this issue, we develop Oscars, a VEU expert model fine-tuned on the curated VEU-Bench dataset. It outperforms existing open-source Vid-LLMs on VEU-Bench by over 28.3% in accuracy and achieves performance comparable to commercial models like GPT-4o. We also demonstrate that incorporating VEU data significantly enhances the performance of Vid-LLMs on general video understanding benchmarks, with an average improvement of 8.3% across nine reasoning tasks.