ROWBench: Do Video Models Render What the Program Specifies?
作者: Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai, Jian-Kai Zhu, Fengbo Lan, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang, Zhixiang Wang
分类: cs.CV
发布日期: 2026-10-01
💡 一句话要点
提出PROWBench以评估视频模型的程序规范遵循性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 可编程世界模型 视频生成 评估基准 时间戳事件 多视图渲染 实体控制 长时间记忆 逻辑渲染一致性
📋 核心要点
- 现有的可编程世界模型在视觉生成与程序指定事件的遵循性上存在不足，缺乏有效的评估基准。
- 本文提出PROWBench，通过程序构建的情节和代理视频，提供了一种新的评估框架，能够检查生成视频与程序执行结果的一致性。
- 实验结果表明，PROWBench能够有效评估实体控制和长时间记忆，并引入新的评估指标，提升了对时间线遵循的准确性。
📝 摘要（中文）
可编程世界模型将可执行动态与视觉生成分离，为下一代游戏引擎提供了良好的基础。然而，它们在视觉上对明确规则和交互的遵循程度尚未得到充分评估。现有基准主要评估视觉质量、可控性及指令或物理遵循性，但很少测试对细粒度程序指定世界事件的忠实度。本文提出了PROWBench，包含170个程序构建的情节和600个代理视频，涵盖多样的场景和交互。PROWBench记录实体状态和时间戳事件，包括摄像机视野外的事件，作为可重播的世界记录，从中渲染同步视图和代理表示。这使得生成的视频能够与程序执行的可观察后果进行对比。该基准评估实体控制、长时间记忆，并通过两个基于VLM的指标，逻辑渲染一致性和交互成功率，评估对规定时间线的遵循及时间戳引擎记录事件的视觉实现。
🔬 方法详解
问题定义：本文旨在解决现有可编程世界模型在视觉生成与程序指定事件遵循性评估不足的问题。现有方法主要关注视觉质量和可控性，但缺乏对细粒度事件的忠实度测试。
核心思路：论文提出PROWBench，通过构建程序化情节和记录时间戳事件，提供了一种新的评估机制，能够将生成的视频与程序执行的可观察后果进行对比，从而验证模型的遵循性。
技术框架：PROWBench的整体架构包括情节构建模块、行为控制模块和多视图渲染模块。情节构建模块生成多样的场景和交互，行为控制模块记录实体状态和事件，渲染模块则生成不同视角的同步视频。
关键创新：PROWBench的主要创新在于其能够记录并重播程序执行过程中的事件，提供了一个可验证的基准，区别于现有方法仅关注视觉质量和可控性。
关键设计：在设计中，PROWBench使用了时间戳记录机制，能够捕捉摄像机视野外的事件，并通过多视图观察提供更全面的评估。此外，采用了基于VLM的逻辑渲染一致性和交互成功率作为评估指标，增强了对时间线遵循的评估能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PROWBench在评估实体控制和长时间记忆方面表现优异，逻辑渲染一致性和交互成功率的评估指标显著提升，验证了模型在时间线遵循上的准确性，为未来的研究提供了新的方向。
🎯 应用场景
该研究的潜在应用领域包括游戏引擎开发、虚拟现实和增强现实等领域。通过提供更准确的视觉生成与程序执行一致性评估，PROWBench能够帮助开发者优化模型设计，提高用户体验，并推动智能交互系统的发展。
📄 摘要（原文）
Programmable world models separate executable dynamics from visual generation, offering a promising foundation for next-generation game engines. However, their visual adherence to explicit rules and interactions remains insufficiently evaluated. Existing benchmarks assess visual quality, controllability, and instruction or physical adherence, but rarely test fidelity to fine-grained, program-specified world events. We introduce PROWBench, comprising 170 programmatically constructed episodes and 600 proxy videos covering diverse scenes and interactions. PROWBench logs entity states and timestamped events, including those outside the camera's field of view, as replayable world records, from which it renders synchronized views and proxy representations. This enables generated videos to be checked against the observable consequences of program execution. An extensible framework constructs scenes, controls behaviors, and can render each camera view in different representations, such as coarse 3D, and bounding boxes. The benchmark covers first- and third-person perspectives, with synchronized multi-view observations available for a subset of episodes. Grounded in these records, PROWBench evaluates entity control, long-horizon memory, and, with two VLM-based metrics, Logic-Render Alignment and Interaction Success Rate, adherence to the prescribed timeline and the visual realization of timestamped engine-recorded events.