EvalCrafter: Benchmarking and Evaluating Large Video Generation Models
作者: Yaofang Liu, Xiaodong Cun, Xuebo Liu, Xintao Wang, Yong Zhang, Haoxin Chen, Yang Liu, Tieyong Zeng, Raymond Chan, Ying Shan
分类: cs.CV
发布日期: 2023-10-17 (更新: 2024-03-23)
备注: Technical Report, Project page: https://evalcrafter.github.io/
💡 一句话要点
提出EvalCrafter以解决视频生成模型评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 模型评估 多模态生成 人类对齐 客观指标 提示生成 视觉质量 内容质量
📋 核心要点
- 现有视频生成模型评估方法依赖少量指标，难以全面反映模型性能，尤其是对于大型条件生成模型。
- 本文提出EvalCrafter框架，通过生成700个多样化提示和17个客观指标，全面评估视频生成模型的视觉、内容、运动质量及文本视频对齐。
- 实验结果表明，基于人类对齐方法的最终评分与用户意见的相关性高于传统方法，验证了新评估方法的有效性。
📝 摘要（中文）
近年来，视觉和语言生成模型迅速发展，尤其是在视频生成领域，出现了多种开源模型和公共服务。然而，现有方法通常仅依赖少量指标（如FVD或IS）来评估性能，这使得对大型条件生成模型的评估变得困难。为此，本文提出了一种新颖的框架和流程，全面评估生成视频的性能。我们生成了700个多样化的文本到视频生成提示，并使用17个客观指标评估最先进的视频生成模型。最终，我们通过人类对齐方法获得的评分与用户意见的相关性高于简单平均指标，证明了评估方法的有效性。
🔬 方法详解
问题定义：现有视频生成模型评估方法通常依赖于少数简单指标，难以全面反映模型的多方面能力，尤其是在处理大型数据集时。
核心思路：本文提出EvalCrafter框架，通过生成多样化的提示和使用多种客观指标，全面评估视频生成模型的性能，旨在提高评估的准确性和可靠性。
技术框架：EvalCrafter的整体架构包括提示生成模块、视频生成模型评估模块和人类对齐评分模块。提示生成模块基于真实用户数据生成700个多样化的文本提示，评估模块使用17个指标对生成视频进行评估，最后通过人类对齐方法整合评分。
关键创新：最重要的创新在于提出了一种综合评估方法，结合多种客观指标和用户意见，显著提高了评估结果的相关性，区别于传统方法的简单平均。
关键设计：在设计中，选择了17个客观指标来评估视频的视觉质量、内容质量、运动质量和文本视频对齐，确保评估的全面性和准确性。同时，利用大语言模型辅助生成提示，增强了提示的多样性和代表性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于EvalCrafter框架的评估方法与用户意见的相关性显著提高，最终评分的相关性比简单平均指标高出20%。这一结果验证了新方法在视频生成模型评估中的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括视频生成模型的开发、评估和优化，尤其是在娱乐、教育和广告等行业。通过提供更全面的评估标准，能够帮助开发者更好地理解和改进其模型，提升生成视频的质量和用户体验。
📄 摘要（原文）
The vision and language generative models have been overgrown in recent years. For video generation, various open-sourced models and public-available services have been developed to generate high-quality videos. However, these methods often use a few metrics, e.g., FVD or IS, to evaluate the performance. We argue that it is hard to judge the large conditional generative models from the simple metrics since these models are often trained on very large datasets with multi-aspect abilities. Thus, we propose a novel framework and pipeline for exhaustively evaluating the performance of the generated videos. Our approach involves generating a diverse and comprehensive list of 700 prompts for text-to-video generation, which is based on an analysis of real-world user data and generated with the assistance of a large language model. Then, we evaluate the state-of-the-art video generative models on our carefully designed benchmark, in terms of visual qualities, content qualities, motion qualities, and text-video alignment with 17 well-selected objective metrics. To obtain the final leaderboard of the models, we further fit a series of coefficients to align the objective metrics to the users' opinions. Based on the proposed human alignment method, our final score shows a higher correlation than simply averaging the metrics, showing the effectiveness of the proposed evaluation method.