FilmBench: A Film-Grade Benchmark for Cinematic Video Generation
作者: Shengyi Wang, Niantong Li, Guangzheng Hu, Hong Qi, Fei Ding, Weixu Qiao, Jinlin Wang, Xiaotong Lv, Peng Han, Zimeng Li, Fanshu Ding, Yushu Wang, Han Wu, Jingjing Chen, Chongxiao Wang, Yanhao Wu, Chenglong Huang, Xiaoqian Zhu, Jie Tian, Hua Li, Jingjing Fan, Mingshuang Tang, Zhong Li, Hengxia Qiang, Weibin Chen, Jinyang Zhen, Bing Zhao, Lin Qu, Jing Li, Hu Wei
分类: cs.CV, cs.AI
发布日期: 2026-07-27
💡 一句话要点
提出FilmBench以解决视频生成评估标准不足的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 电影语言 基准测试 多模态评估 人工智能
📋 核心要点
- 现有视频生成基准测试主要依赖于网络来源，评估标准缺乏专业性，无法有效评估视频的电影质量。
- 本文提出FilmBench基准，结合专业电影语言，采用从获奖影片中反向生成的提示，并引入多层次评估体系。
- 实验结果显示，FilmBench在评估视频生成模型时，能够更准确地反映人类评估者的判断，且在动态美学方面表现出显著提升。
📝 摘要（中文）
视频生成技术的进步正在缩小AI生成视频与专业制作视频之间的视觉差距，但现有基准测试仍主要依赖网络来源或大型语言模型模板，并使用未经训练的通用多模态模型进行评分。更根本的是，它们的评估分类仍然较为粗糙，未能采用专业电影语言标准进行评估。为此，本文提出FilmBench，这是一个基于专业电影语言的文本到视频（T2V）和参考到视频（R2V）基准，结合了北京电影学院和华景数字媒体与娱乐集团的导演和教职工的共同开发。FilmBench的创新之处在于从获奖影片中反向工程生成提示，采用三层次的电影分类法进行评估，并开发了一个内部专家级自动评估代理，开源其核心的电影语言操作符。通过对领先的视频生成模型进行基准测试，评估者在模型级别上重现了人类模型排名。
🔬 方法详解
问题定义：现有的视频生成基准测试未能有效评估生成视频的电影质量，主要依赖于网络来源和通用模型，导致评估结果的专业性不足。
核心思路：本文提出FilmBench，通过与专业导演合作，基于获奖影片的提示生成和专业电影语言标准，建立更为严谨的评估体系。
技术框架：FilmBench的整体架构包括三个主要部分：首先是从20种电影类型的获奖影片中反向生成提示；其次是建立三层次的电影分类法进行评估；最后是开发一个自动评估代理，使用开源的电影语言操作符进行评分。
关键创新：FilmBench的最大创新在于其评估体系的专业性，采用了多层次的评估标准，能够更全面地反映视频生成的电影质量，与现有方法相比，提供了更为细致的评估维度。
关键设计：在参数设置上，FilmBench采用了多镜头提示设计，确保生成视频的多样性和复杂性；损失函数和网络结构方面，结合了电影语言的核心要素，以提升生成视频的质量和连贯性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FilmBench在评估视频生成模型时，能够重现人类评估者的判断，模型级别的Spearman相关系数达到0.95（T2V）和0.96（R2V）。与之前的网络风格基准相比，FilmBench在动态美学方面表现出明显的提升，并且在单镜头到多镜头的性能差距上也有显著的改进。
🎯 应用场景
FilmBench的研究成果可广泛应用于电影制作、视频游戏开发及广告行业等领域，帮助创作者更好地评估和提升AI生成视频的质量。未来，随着AI技术的不断进步，FilmBench有望成为视频生成领域的标准评估工具，推动创作与技术的深度融合。
📄 摘要（原文）
Progress in video generation keeps narrowing the visual gap between AI-generated and professionally produced footage, yet most benchmarks still draw prompts from web sources or LLM templates and score them with untrained, generic multimodal models. More fundamentally, their evaluation taxonomies remain rudimentary (overall visual quality, coarse text alignment and temporal smoothness) rather than the professional Cinematic Language criteria by which films are actually made and judged, so they assess basic video plausibility rather than film-grade craft. We introduce FilmBench, a text-to-video (T2V) and reference-to-video (R2V) benchmark grounded in the professional Cinematic Language of the film- academy tradition and co-developed with directors and faculty from the Beijing Film Academy and the Hujing Digital Media & Entertainment Group film studio. It rests on three choices. First, prompts are reverse-engineered from clips of award-winning films spanning 20 cinematic genres and chosen by professional directors, so every prompt is anchored to a verified live-action reference; the prompts follow real shot lists, and most script multiple shots (1,056 of the 1,169 prompts are multi-shot), unlike prior single-clip benchmarks. Second, evaluation follows a three-level Cinematic taxonomy of 3 axes, 12 components and 35 (T2V) +3 (R2V-only) sub-metrics. Third, we develop an in-house expert-grade automatic evaluation agent and open-source its core suite of Cinematic Language operators (FilmOps). Benchmarking leading video generation models (9 for T2V, 7 for R2V), the evaluator reproduces the human model ranking at model-level Spearman \r{ho} = 0.95 (T2V) and 0.96 (R2V). Scores fall well below prior web-style benchmarks, with two consistent gaps in dynamic aesthetics and a marked single- to multi-shot performance drop that widens for weaker models.