VGIF-Score: Interpretable and Diagnostic Evaluation of Spatio-Temporal Instruction Following in Video Generation

📄 arXiv: 2607.13527v1 📥 PDF

作者: Songyu Xu, Xin Wang, Qiang Chen, Xinran Wang, Muxi Diao, Yuxuan Zhang, Kongming Liang, Rui Lin, Zhanyu Ma

分类: cs.CV

发布日期: 2026-07-15

备注: Accepted by PRCV2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出VGIF-Score以解决视频生成模型指令遵循评估不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频生成 指令遵循 时空图 自动评估 可解释性 主观满意度 视频质量评估

📋 核心要点

  1. 现有视频生成模型在遵循长且复杂指令方面的评估不足，常依赖短小且语义浅显的提示，缺乏有效的诊断工具。
  2. 本文提出VGIF-Score框架，通过解析提示为时空有向无环图并结合主观满意度评估，实现对视频生成指令遵循的全面评估。
  3. 在14个视频生成模型上进行的实验表明，VGIF-Score在评估的可靠性和可解释性上表现优异，能够提供有价值的诊断信息。

📝 摘要（中文）

近年来，视频生成模型在视觉保真度方面取得了显著进展，但其遵循长且复杂指令的能力仍然不足。现有评估协议通常依赖于短小且语义浅显的提示，缺乏原子约束和强时空依赖性，且常常需要昂贵的人力评估或手工视觉管道，缺乏对指令约束成功或失败的诊断性洞察。为了解决这一问题，本文提出了VGIF-Score，一个高度自动化且可解释的框架，用于评估视频生成中的指令遵循。VGIF-Score由两个互补组件组成：一个客观完成分支解析提示为时空有向无环图（ST-DAG），并执行依赖感知的问答；一个主观满意度分支使用指令条件的AutoRubric评估电影摄影、视觉纯度、运动流畅性和物理遵循性。通过这两个组件，VGIF-Score生成一个统一的评分，捕捉客观完成和感知满意度。

🔬 方法详解

问题定义：本文旨在解决现有视频生成模型在遵循复杂指令时评估不足的问题。现有方法多依赖短小提示，缺乏深度和有效的诊断能力，导致评估结果的可靠性和可解释性不足。

核心思路：VGIF-Score框架通过将指令解析为时空有向无环图（ST-DAG），结合客观和主观评估，提供全面的指令遵循评估。这种设计使得评估不仅关注生成结果的完成度，还考虑了视觉和运动的质量。

技术框架：VGIF-Score由两个主要组件组成：客观完成分支和主观满意度分支。客观完成分支解析指令并执行依赖感知的问答，而主观满意度分支则利用AutoRubric评估生成视频的多个视觉特性。

关键创新：VGIF-Score的创新在于其将客观和主观评估结合，形成统一评分机制，能够有效捕捉指令遵循的各个方面。这一方法与传统依赖单一评估方式的模型显著不同。

关键设计：在设计中，使用了时空有向无环图（ST-DAG）来表示指令的结构，确保了对指令依赖关系的准确建模。同时，AutoRubric的引入使得主观评估更加系统化和标准化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对14个视频生成模型的实验中，VGIF-Score在评估的可靠性和可解释性上表现优异，能够提供有价值的诊断信息。实验结果显示，该框架在处理223个复杂提示时，能够有效捕捉生成视频的多维度质量，显著提升了评估的准确性和深度。

🎯 应用场景

VGIF-Score框架可广泛应用于视频生成领域，尤其是在需要遵循复杂指令的场景中，如影视制作、游戏开发和虚拟现实等。通过提供可解释的评估结果，研究人员和开发者可以更好地理解模型的表现，进而优化生成算法，提高视频生成的质量和效率。

📄 摘要（原文）

Recent video generation models (VGMs) have made substantial progress in visual fidelity, yet their ability to follow long, compositional instructions remains insufficiently evaluated. Existing evaluation protocols often rely on prompts that are short and semantically shallow, with limited atomic constraints and weak spatio-temporal dependencies. They also frequently depend on costly human evaluation or handcrafted vision pipelines, while providing little diagnostic insight into which instruction constraints succeed or fail. To address this gap, we propose VGIF-Score, a highly automated and interpretable framework for evaluating instruction following in video generation. VGIF-Score consists of two complementary components: an objective completion branch that parses prompts into a Spatio-Temporal Directed Acyclic Graph (ST-DAG) and performs dependency-aware QA with short-circuit diagnostics, and a subjective satisfaction branch that uses instruction-conditioned AutoRubric to assess cinematography, visual purity, motion smoothness, and physics adherence. Together, these components produce a unified score that captures both objective completion and perceptual satisfaction. We instantiate this framework on VGIF-Bench, a benchmark of 223 long, structurally entangled prompts paired with approximately 4.3K fine-grained evaluation items. Experiments on 14 proprietary and open-source VGMs across more than 3K generated videos show that VGIF-Score provides reliable, interpretable, and diagnostically useful evaluation of video generation instruction following. The code will be available at https://github.com/PRIS-CV/VGIF-SCORE.