Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
作者: Zhenghan Chen, Zekai Shao, Xin Lin, Leting Cheng, Siming Chen
分类: cs.CV, cs.AI
发布日期: 2026-10-20
💡 一句话要点
提出Code2Video-Compass以解决代码驱动视频生成的评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码驱动视频生成 多模态大语言模型 视频质量评估 文本到视频 图像到视频 视频到视频 基准测试 创作工具
📋 核心要点
- 现有的代码驱动视频生成基准主要集中于特定任务，缺乏对多模态输入和创作类别的全面评估。
- 本文提出Code2Video-Compass基准，涵盖T2V、I2V和V2V任务，提供全面的评估框架。
- 实验结果显示，尽管使用了15种最新的多模态大语言模型，生成视频的质量和一致性仍然存在显著挑战。
📝 摘要（中文）
基于代码的视频生成相比直接生成提供了更精细的控制和编辑能力，但现有基准主要集中于特定任务，缺乏对多样化创作类别和输入模态的全面评估。为此，本文提出了Code2Video-Compass，这是一个涵盖文本到视频、图像到视频和视频到视频的通用基准，包含2104个任务，涉及10个类别和24个子类型，结合了文本指令和视觉参考。我们提出了一个双层评估框架，结合12个客观指标和5个主观指标，评估生成视频的质量和一致性。实验表明，即使是领先的多模态大语言模型在生成高质量视频时也面临挑战，尤其是在复杂性增加时。
🔬 方法详解
问题定义：本文旨在解决现有代码驱动视频生成基准不足的问题，特别是缺乏对多样化创作类别和输入模态的全面评估。现有方法主要集中于特定任务，无法有效评估完整视频生成的能力。
核心思路：提出Code2Video-Compass基准，通过涵盖文本到视频、图像到视频和视频到视频的多种任务，提供一个全面的评估框架，以促进代码驱动视频生成的研究和应用。
技术框架：整体架构包括任务设计、数据收集和评估框架三个主要模块。任务设计涵盖2104个任务，数据收集结合文本指令和视觉参考，评估框架则结合客观和主观指标。
关键创新：最重要的创新在于提出了一个双层评估框架，结合12个客观指标（如视频质量、文本视频对齐）和5个主观指标（如整体视频质量），以全面评估生成视频的性能。
关键设计：在评估过程中，采用了多种损失函数和指标来衡量视频生成的质量，特别关注于生成视频的构建、动态动画和状态依赖性等复杂性维度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管使用了15种最新的多模态大语言模型，生成视频的质量和一致性仍然存在显著挑战。随着任务复杂性的增加，模型的性能普遍下降，表明在高复杂度场景下，现有模型的生成能力仍需提升。
🎯 应用场景
该研究的潜在应用领域包括影视制作、游戏开发和教育培训等，能够为创作者提供更灵活的工具以生成高质量视频内容。未来，该基准可能推动代码驱动视频生成技术的进一步发展，促进更广泛的程序化视觉创作。
📄 摘要（原文）
Code-based video generation offers fine-grained control, targeted editing, and component reuse compared with direct video generation. This approach requires multimodal large language models (MLLMs) to translate visual and temporal requirements into executable programs that produce complete videos. However, existing code-based benchmarks primarily target specialized tasks, leaving complete video creation across diverse creative categories and input modalities insufficiently evaluated. We introduce Code2Video-Compass, a general-purpose benchmark for code-based video generation across text-to-video (T2V), image-to-video (I2V), and video-to-video (V2V) settings. Code2Video-Compass comprises 2,104 tasks spanning 10 categories, 24 subtypes, and three complexity dimensions covering construction, dynamic animation, and state dependency. It combines tasks curated from textual instructions and visual references with corresponding T2V, I2V, and V2V tasks derived from complete professional and user-created videos. We propose a dual-level evaluation framework combining 12 objective metrics and five subjective metrics. Objective evaluation covers operational performance, video quality, text-video alignment, and reference fidelity, while subjective evaluation uses an MLLM judge to evaluate instruction following and holistic video quality. Extensive evaluation of 15 recent proprietary and open-weight MLLMs from nine families reveals that even leading models face challenges in reliably generating high-quality complete videos aligned with textual and visual requirements, with performance generally declining as construction, dynamic animation, and state-dependency complexity increases. We anticipate that Code2Video-Compass will advance reliable, coherent, and controllable code-based video generation and inspire broader progress in programmatic visual creation.