IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment

📄 arXiv: 2510.11647v1 📥 PDF

作者: Yinan Chen, Jiangning Zhang, Teng Hu, Yuxiang Zeng, Zhucun Xue, Qingdong He, Chengjie Wang, Yong Liu, Xiaobin Hu, Shuicheng Yan

分类: cs.CV

发布日期: 2025-10-13

备注: Equal contributions from first two authors. Project page: https://ryanchenyn.github.io/projects/IVEBench Code: https://github.com/RyanChenYN/IVEBench Dataset: https://huggingface.co/datasets/Coraxor/IVEBench

💡 一句话要点

IVEBench：用于指令引导视频编辑评估的现代基准套件

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令引导视频编辑 视频编辑基准 多模态评估 大型语言模型 视频质量评估

📋 核心要点

  1. 现有视频编辑基准在源多样性、任务覆盖和评估指标上存在不足，无法有效评估指令引导的视频编辑。
  2. IVEBench构建了一个包含多样化视频源、多类别编辑任务和三维评估协议的基准套件，用于指令引导视频编辑的评估。
  3. 实验表明，IVEBench能够有效评估最先进的指令引导视频编辑方法，并提供全面且与人类对齐的评估结果。

📝 摘要（中文）

指令引导的视频编辑已成为一个快速发展的研究方向，为直观的内容转换提供了新的机会，同时也为系统评估带来了重大挑战。现有的视频编辑基准无法充分支持指令引导视频编辑的评估，并且存在源多样性有限、任务覆盖范围窄和评估指标不完整等问题。为了解决上述局限性，我们推出了IVEBench，这是一个专门为指令引导视频编辑评估而设计的现代基准套件。IVEBench包含一个由600个高质量源视频组成的多样化数据库，涵盖七个语义维度，视频长度从32帧到1024帧不等。它还包括8个类别的编辑任务，包含35个子类别，其提示由大型语言模型生成并通过专家审查进行完善。至关重要的是，IVEBench建立了一个三维评估协议，包括视频质量、指令依从性和视频保真度，集成了传统指标和基于多模态大型语言模型的评估。大量的实验证明了IVEBench在评估最先进的指令引导视频编辑方法方面的有效性，展示了其提供全面且与人类对齐的评估结果的能力。

🔬 方法详解

问题定义：指令引导的视频编辑旨在根据用户指令修改视频内容。现有视频编辑基准的不足之处在于：视频源的多样性有限，无法覆盖各种场景；任务覆盖范围窄，不能全面评估编辑能力；评估指标不完整，缺乏对指令依从性和视频保真度的有效衡量。这些限制使得现有基准难以对指令引导的视频编辑方法进行充分评估，阻碍了该领域的发展。

核心思路：IVEBench的核心思路是构建一个更全面、更具代表性的基准套件，以克服现有基准的局限性。通过增加视频源的多样性、扩展任务覆盖范围和引入更完善的评估指标，IVEBench旨在提供一个更可靠、更有效的平台，用于评估和比较不同的指令引导视频编辑方法。这种设计旨在促进该领域的研究进展，并推动更先进的视频编辑技术的发展。

技术框架：IVEBench的技术框架主要包括三个组成部分：1) 多样化的视频数据库：包含600个高质量源视频，涵盖七个语义维度，视频长度从32帧到1024帧不等。2) 丰富的编辑任务：包括8个类别的编辑任务，包含35个子类别，其提示由大型语言模型生成并通过专家审查进行完善。3) 三维评估协议：包括视频质量、指令依从性和视频保真度，集成了传统指标和基于多模态大型语言模型的评估。

关键创新：IVEBench的关键创新在于其综合性的设计，它不仅提供了多样化的视频数据和丰富的编辑任务，还引入了三维评估协议，从而能够更全面地评估指令引导视频编辑方法的性能。与现有基准相比，IVEBench在视频源的多样性、任务覆盖范围和评估指标的完善性方面都取得了显著的提升。此外，利用大型语言模型生成和完善编辑提示也是一个创新点，保证了任务的多样性和质量。

关键设计：在视频数据库方面，IVEBench考虑了七个语义维度，以确保视频内容的多样性。在编辑任务方面，利用大型语言模型生成初始提示，然后通过专家审查进行完善，以保证任务的合理性和挑战性。在评估指标方面，IVEBench集成了传统指标和基于多模态大型语言模型的评估，以更全面地衡量视频质量、指令依从性和视频保真度。具体的技术细节包括：视频质量评估采用PSNR、SSIM等指标，指令依从性评估采用CLIP score等指标，视频保真度评估采用LPIPS等指标。

📊 实验亮点

实验结果表明，IVEBench能够有效区分不同的指令引导视频编辑方法，并提供与人类感知对齐的评估结果。通过在IVEBench上对多种最先进的方法进行评估，论文展示了IVEBench在评估视频质量、指令依从性和视频保真度方面的能力。实验还表明，IVEBench能够揭示现有方法在不同任务上的优缺点，为未来的研究方向提供指导。

🎯 应用场景

IVEBench可广泛应用于视频内容创作、自动化视频编辑、智能监控等领域。通过提供一个标准化的评估平台，IVEBench能够促进指令引导视频编辑技术的发展，并推动其在实际应用中的落地。未来，基于IVEBench的研究成果有望提升视频编辑的效率和质量，降低视频创作的门槛，并为用户提供更智能、更便捷的视频编辑体验。

📄 摘要（原文）

Instruction-guided video editing has emerged as a rapidly advancing research direction, offering new opportunities for intuitive content transformation while also posing significant challenges for systematic evaluation. Existing video editing benchmarks fail to support the evaluation of instruction-guided video editing adequately and further suffer from limited source diversity, narrow task coverage and incomplete evaluation metrics. To address the above limitations, we introduce IVEBench, a modern benchmark suite specifically designed for instruction-guided video editing assessment. IVEBench comprises a diverse database of 600 high-quality source videos, spanning seven semantic dimensions, and covering video lengths ranging from 32 to 1,024 frames. It further includes 8 categories of editing tasks with 35 subcategories, whose prompts are generated and refined through large language models and expert review. Crucially, IVEBench establishes a three-dimensional evaluation protocol encompassing video quality, instruction compliance and video fidelity, integrating both traditional metrics and multimodal large language model-based assessments. Extensive experiments demonstrate the effectiveness of IVEBench in benchmarking state-of-the-art instruction-guided video editing methods, showing its ability to provide comprehensive and human-aligned evaluation outcomes.