The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report
作者: Nicolae Cudlenco, Mihai Masala, Marius Leordeanu
分类: cs.CV
发布日期: 2026-07-14
💡 一句话要点
提出GEST-Engine以实现从文本到合成视频的自动化生成
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 事件图 视频生成 自然语言处理 多演员协调 深度学习 游戏引擎 语义一致性
📋 核心要点
- 现有方法在从文本生成视频时，缺乏对世界状态的完整表示，导致生成结果的准确性和一致性不足。
- GEST-Engine通过显式的事件图（GEST）模型，维护一个可检查的世界状态，确保生成视频的语义一致性和时间协调性。
- 该系统在单次仿真中能够生成多种类型的输出，包括RGB视频和深度图，且无额外注释成本，极大提升了生成效率。
📝 摘要（中文）
我们提出了GEST-Engine，这是一个完整的系统，能够将自然语言文本转化为全注释的多演员视频。其核心是一个显式的世界模型，维护一个完整的、可检查的世界表示，包括演员、位置、行为、持有的物体以及事件在时间和空间中的关系，采用形式化的事件图（GEST）表示，并在商业游戏引擎中以确定性方式实现。GEST可以通过程序生成或通过一个大型语言模型（LLM）驱动的文本到GEST系统生成。该系统的执行管道包括图解析与验证、实体与动作的基础、时间协调和执行捕获。最终，系统能够在单次仿真中生成帧对齐的RGB视频、密集的每像素深度、实例分割等多种输出，且无边际注释成本。由于每帧都可追溯到语义规范，该引擎确保了对象的持久性、多演员协调和时间一致性，使其输出在训练数据、评估基准和视频理解的诊断工具方面具有重要价值。
🔬 方法详解
问题定义：本论文旨在解决现有文本到视频生成方法中缺乏完整世界状态表示的问题，导致生成结果的准确性和一致性不足。
核心思路：GEST-Engine的核心思路是通过显式的事件图（GEST）来维护一个完整的世界模型，使得生成的每个视频帧都能追溯到语义规范，从而确保对象的持久性和时间一致性。
技术框架：该系统的整体架构包括四个主要阶段：图解析与验证、实体与动作的基础、时间协调（使用Floyd-Warshall算法解决Allen风格的约束）以及执行与捕获。
关键创新：GEST-Engine的关键创新在于其显式的世界模型和事件图结构，使得生成的每个视频帧都具有可追溯的语义信息，这与现有方法的隐式状态表示形成了本质区别。
关键设计：系统设计中采用了程序生成和大型语言模型（LLM）驱动的文本到GEST生成机制，确保生成的规范是可执行的。此外，系统还实现了一个游戏内世界编辑器和文本生成管道，支持大规模并行渲染。
🖼️ 关键图片
📊 实验亮点
GEST-Engine在单次仿真中能够生成帧对齐的RGB视频、密集的每像素深度和实例分割等多种输出，且实现了零边际注释成本。这一成果显著提升了视频生成的效率和质量，具有重要的研究和应用价值。
🎯 应用场景
该研究的潜在应用领域包括影视制作、游戏开发和教育培训等，能够为创作者提供高效的内容生成工具，降低制作成本。同时，生成的高质量视频数据也可用于训练和评估视频理解模型，推动相关领域的研究进展。
📄 摘要（原文）
We present the GEST-Engine, a complete system that goes from natural-language text to fully-annotated multi-actor video. At its core is an explicit world model: rather than encoding state as a learned latent, the engine maintains a complete, inspectable representation of the world (which actors exist, where they are, what they are doing, which objects they hold, and how events relate in time and space), expressed as a formal Graph of Events in Space and Time (GEST) and realized deterministically inside the open world of a commercial game engine driven through an open-source multiplayer scripting framework. GESTs are produced either procedurally or by an agentic text-to-GEST system in which an LLM Director plans a story through tool calls validated by a programmatic state backend, so every generated specification is executable by construction. A GEST then enters a four-stage execution pipeline: graph parsing and validation, entity and action grounding, temporal orchestration (Allen-style constraints resolved by Floyd-Warshall transitive closure), and execution and capture. In a single simulation pass the engine emits frame-aligned RGB video, dense per-pixel depth, instance segmentation, per-actor skeletal pose, per-frame pairwise spatial-relation graphs, 2D bounding boxes, event-to-frame temporal mappings, and natural-language descriptions, all at zero marginal annotation cost. We further describe an in-game world editor, runtime capability extraction, a text-generation pipeline, and a production system that renders corpora at scale across parallel virtual machines. Because every frame traces back to a semantic specification, the engine guarantees object permanence, multi-actor coordination, and temporal consistency by construction, making its output valuable as training data, evaluation benchmarks, and diagnostic tools for video understanding.