Towards Unified Evaluation of Prompt Enhancers for Video Generation
作者: Yawen Shao, Yubo Zhu, Ziyun Dai, Zixun Fang, Kai Zhu, Zeyinzi Jiang, Yufeng Ai, Siyang Sun, Haolan Xue, Yu Shang, Yuxiang Bao, Zoubin Bi, Jingming Luo, Jie Xiao, Chaojie Mao, Zhehan Kan, Hongchen Luo, Yu Liu, Sheng Zhong, Wei Tong, Xueyang Fu, Yang Cao, Wei Zhai, Zheng-Jun Zha
分类: cs.CV
发布日期: 2026-10-08
备注: Project page: https://github.com/yawen-shao/PEBench
💡 一句话要点
提出PEBench以解决视频生成中提示增强器评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 提示增强 多模态评估 基准测试 计算机视觉
📋 核心要点
- 现有的提示增强器评估方法依赖于渲染视频，导致高昂的计算和人力成本，影响PE的训练和迭代效率。
- 论文提出PEBench，这是一个统一的基准，能够直接评估不同类型的提示增强，涵盖多种任务和要求。
- 实验结果表明，PEBench的评分与专家判断高度一致，显示出其在评估提示增强器有效性方面的可靠性。
📝 摘要（中文）
现代视频生成器能够实现越来越复杂的视觉叙事，提示增强器（PE）成为用户指令与结构化电影计划之间的重要桥梁。然而，现有的PE评估依赖于渲染视频，导致计算和人力成本高，减缓PE训练与迭代，并将PE质量与下游生成器行为混淆。为了解决这一问题，我们提出PEBench，这是第一个统一的基准，用于直接评估文本到视频、图像到视频和参考到视频的提示增强。该基准包含1100个专家验证的案例和1005个视觉资产，涵盖35个细粒度任务，具有多样的时间、电影、视听和多参考要求。此外，我们开发了PEBench评估框架，结合了基于证据的事实提取与24个标准的评分。我们的系统评估显示，PEBench得分与专家对增强提示和下游视频的判断高度一致，表明提示级评估可靠地反映了下游效用。
🔬 方法详解
问题定义：现有的提示增强器（PE）评估方法主要依赖于渲染视频，这不仅增加了计算和人力成本，还减缓了PE的训练与迭代速度。此外，这种方法将PE的质量与下游生成器的行为混淆，难以准确评估PE的实际效果。
核心思路：为了解决上述问题，论文提出了PEBench，这是一个统一的基准，旨在直接评估文本到视频、图像到视频和参考到视频的提示增强。通过构建一个包含多样任务的评估框架，PEBench能够有效地评估PE的性能。
技术框架：PEBench的整体架构包括数据集构建、评估标准制定和结果分析三个主要模块。数据集包含1100个专家验证的案例和1005个视觉资产，评估标准则基于24个具体标准进行评分。
关键创新：PEBench的主要创新在于其统一性和系统性，首次实现了对不同类型PE的直接评估，避免了传统方法的局限性。通过结合基于证据的事实提取与评分标准，PEBench提供了更为可靠的评估结果。
关键设计：在设计上，PEBench采用了多模态的事实提取技术，确保评估的全面性和准确性。同时，评分标准涵盖了多种维度，确保能够全面反映PE的性能和下游生成器的效果。具体的参数设置和损失函数设计在论文中进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PEBench的评分与专家判断高度一致，表明其在评估提示增强器方面的有效性。与传统方法相比，PEBench在评估效率和准确性上均有显著提升，能够更好地反映下游生成器的实际性能。
🎯 应用场景
该研究的潜在应用领域包括视频生成、影视制作和多模态内容创作。PEBench的评估框架可以帮助开发者更高效地优化提示增强器，从而提升视频生成的质量和效率。未来，PEBench可能会成为视频生成领域的标准评估工具，推动相关技术的发展与应用。
📄 摘要（原文）
Modern video generators can realize increasingly complex visual narratives, positioning the prompt enhancer (PE) as a critical bridge from concise user instructions and multimodal references to structured cinematic plans. However, existing PE evaluation relies on rendered videos, imposing substantial computational and human costs, slowing PE training and iteration, and conflating PE quality with downstream generator behavior. To address this gap, we introduce PEBench, the first unified benchmark for direct PE evaluation across text-to-video, image-to-video, and reference-to-video prompt enhancement. It comprises 1,100 expert-verified cases and 1,005 visual assets, spanning 35 fine-grained tasks with diverse temporal, cinematic, audiovisual, and multi-reference requirements. In addition, we develop PEBench evaluation, an evidence-grounded framework that combines modality-aware fact extraction with rubric-based assessment across 24 criteria. Our systematic evaluation of representative open- and closed-source PE methods reveals an emerging shift from fine-grained descriptive expansion toward intent-preserving cinematic planning, while the caption-reconstruction and forward-refinement methods show complementary strengths in cinematic coverage and semantic fidelity or internal coherence, respectively. Human validation shows that PEBench scores align closely with expert judgments of enhanced prompts and downstream videos from Wan3.0 and MiniMax-H3, indicating that prompt-level evaluation reliably reflects downstream utility.