T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation

📄 arXiv: 2407.14505v2 📥 PDF

作者: Kaiyue Sun, Kaiyi Huang, Xian Liu, Yue Wu, Zihan Xu, Zhenguo Li, Xihui Liu

分类: cs.CV

发布日期: 2024-07-19 (更新: 2025-01-15)

备注: Project page: https://t2v-compbench-2025.github.io/ Code: https://github.com/KaiyueSun98/T2V-CompBench/tree/V2

💡 一句话要点

提出T2V-CompBench，用于全面评估组合文本到视频生成模型的性能。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 组合性 基准测试 多模态学习 视频理解

📋 核心要点

  1. 现有文本到视频生成模型在组合不同对象、属性和动作方面存在不足，缺乏针对组合能力的系统评估。
  2. 论文提出T2V-CompBench基准，包含多种组合性评估维度，并设计了基于MLLM、检测和跟踪的评估指标。
  3. 实验表明，现有模型在组合文本到视频生成方面面临挑战，验证了基准和评估指标的有效性。

📝 摘要（中文）

本文针对组合文本到视频（T2V）生成模型的能力进行了首次系统性研究。尽管T2V生成模型取得了显著进展，但其将不同的对象、属性、动作和运动组合成视频的能力仍未得到充分探索。为此，我们提出了T2V-CompBench，这是首个专门为组合文本到视频生成设计的基准。T2V-CompBench涵盖了组合性的各个方面，包括一致的属性绑定、动态属性绑定、空间关系、运动绑定、动作绑定、对象交互和生成数字能力。我们还精心设计了基于多模态大型语言模型（MLLM）、基于检测和基于跟踪的评估指标，这些指标可以更好地反映七个提出的类别（包含1400个文本提示）的组合文本到视频生成质量。通过与人类评估的相关性验证了所提出指标的有效性。我们还对各种文本到视频生成模型进行了基准测试，并对不同模型和各种组合类别进行了深入分析。我们发现，组合文本到视频生成对当前模型来说极具挑战性，我们希望我们的尝试能够为未来这方面的研究提供启示。

🔬 方法详解

问题定义：现有文本到视频生成模型在组合能力方面存在不足，难以将文本描述中的不同对象、属性、动作和运动有效地融合到生成的视频中。现有的文本到视频基准测试也忽略了对这种重要能力的评估。因此，需要一个专门用于评估组合文本到视频生成能力的基准。

核心思路：论文的核心思路是构建一个全面的基准测试集，涵盖组合性的各个方面，并设计相应的评估指标，以量化模型在组合文本描述生成视频方面的能力。通过对现有模型进行基准测试，可以发现其在组合能力方面的不足，并为未来的研究提供方向。

技术框架：T2V-CompBench基准测试集包含七个组合性类别：一致的属性绑定、动态属性绑定、空间关系、运动绑定、动作绑定、对象交互和生成数字能力。每个类别都包含多个文本提示，总共1400个文本提示。评估指标包括基于多模态大型语言模型（MLLM）的指标、基于检测的指标和基于跟踪的指标。这些指标旨在评估生成视频在不同组合性方面的质量。

关键创新：该论文的关键创新在于提出了首个专门用于评估组合文本到视频生成能力的基准测试集T2V-CompBench。该基准测试集涵盖了组合性的多个方面，并设计了相应的评估指标，可以更全面地评估模型的组合能力。与现有基准测试集相比，T2V-CompBench更关注模型在组合不同对象、属性和动作方面的能力。

关键设计：评估指标的设计是关键。基于MLLM的指标利用大型语言模型的理解能力来评估生成视频与文本描述的一致性。基于检测的指标使用对象检测器来检测生成视频中的对象，并评估其属性和关系是否与文本描述一致。基于跟踪的指标使用对象跟踪器来跟踪生成视频中的对象，并评估其运动和交互是否与文本描述一致。这些指标的设计考虑了不同组合性类别的特点，并旨在提供更准确的评估结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的文本到视频生成模型在T2V-CompBench基准测试集上的表现不佳，表明组合文本到视频生成仍然是一个具有挑战性的问题。通过与人类评估的相关性分析，验证了所提出的评估指标的有效性。该研究为未来的文本到视频生成研究提供了重要的基准和评估工具。

🎯 应用场景

该研究成果可应用于视频内容创作、智能监控、游戏开发等领域。例如，可以利用组合文本到视频生成技术，根据用户输入的文本描述自动生成包含特定对象、属性、动作和运动的视频内容。在智能监控领域，可以根据文本描述生成模拟场景，用于训练和评估监控系统的性能。在游戏开发领域，可以根据文本描述生成游戏场景和角色动画，提高游戏开发的效率。

📄 摘要（原文）

Text-to-video (T2V) generative models have advanced significantly, yet their ability to compose different objects, attributes, actions, and motions into a video remains unexplored. Previous text-to-video benchmarks also neglect this important ability for evaluation. In this work, we conduct the first systematic study on compositional text-to-video generation. We propose T2V-CompBench, the first benchmark tailored for compositional text-to-video generation. T2V-CompBench encompasses diverse aspects of compositionality, including consistent attribute binding, dynamic attribute binding, spatial relationships, motion binding, action binding, object interactions, and generative numeracy. We further carefully design evaluation metrics of multimodal large language model (MLLM)-based, detection-based, and tracking-based metrics, which can better reflect the compositional text-to-video generation quality of seven proposed categories with 1400 text prompts. The effectiveness of the proposed metrics is verified by correlation with human evaluations. We also benchmark various text-to-video generative models and conduct in-depth analysis across different models and various compositional categories. We find that compositional text-to-video generation is highly challenging for current models, and we hope our attempt could shed light on future research in this direction.