State World Models: Execute the Rules, Generate the Pixels
作者: Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu, Lei Chen, Jie Zhou, Jiwen Lu
分类: cs.CV
发布日期: 2026-10-19
💡 一句话要点
提出Stateful Harness以解决隐状态下的规则执行问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 状态驱动 规则执行 视频生成 深度学习
📋 核心要点
- 现有世界模型在处理隐状态时，无法确保动作遵循持久规则，导致生成结果不一致。
- 提出Stateful Harness框架，将世界演变与视频渲染分离，以支持状态驱动的交互和规则执行。
- 实验结果显示，使用完整的Stateful Harness，生成所需结局的成功率从32%提升至92%。
📝 摘要（中文）
现有的世界模型能够从单一图像生成基于动作的视频，许多方法专注于相机运动，允许用户探索生成的场景。然而，仅靠导航无法确保在当前帧不可见状态下，动作遵循持久规则。本文提出了Stateful Harness框架，分离世界演变与视频渲染，以支持状态和规则驱动的交互。该框架在指定规则下维护不断演变的世界状态，利用冻结的视频模型渲染每个事件，并使用生成的片段更新下一轮的世界状态。为评估规则合规性，构建了WorldState-Bench基准，包含50对反事实双胞胎，结果显示在规则提示下，最佳视频后端在32%的情况下生成所需结局，而使用完整的Stateful Harness则提升至92%。
🔬 方法详解
问题定义：本文旨在解决现有世界模型在隐状态下无法确保动作遵循持久规则的问题。现有方法多集中于相机运动，缺乏对不可见状态的有效处理，导致生成视频的结果不一致。
核心思路：论文提出的Stateful Harness框架通过分离世界演变与视频渲染，允许在指定规则下维护一个不断演变的世界状态，从而支持状态和规则驱动的交互。这样的设计使得用户的每个动作都能在规则的约束下产生一致的结果。
技术框架：Stateful Harness框架主要包括三个模块：世界状态维护模块、视频渲染模块和用户交互模块。世界状态维护模块根据用户的动作和指定规则更新状态，视频渲染模块则利用冻结的视频模型生成事件片段，用户交互模块负责解析用户的选择并生成相应的指令。
关键创新：最重要的创新点在于将规则执行与视频渲染分离，使得在处理隐状态时，能够更好地遵循规则并生成符合预期的结果。这一方法与现有依赖于单一视频生成的模型有本质区别。
关键设计：在设计中，采用了特定的损失函数来优化生成视频的质量，并在网络结构上进行了调整，以便更好地处理状态更新和视频渲染之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在规则提示下，最佳视频后端在32%的情况下生成所需结局，而通过MiniMax-H3方法，成功率提升至64%。使用完整的Stateful Harness，成功率进一步提升至92%，显著提高了规则执行的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和机器人导航等。通过实现状态驱动的交互，用户可以在复杂环境中进行更自然的探索和操作，提升用户体验和系统的智能化水平。未来，该技术可能在自动驾驶、智能家居等领域发挥重要作用。
📄 摘要（原文）
Existing world models can generate action-conditioned video from a single image. Many focus on camera movement, allowing users to explore the generated scene. However, navigation alone does not ensure that an action follows persistent rules when its outcome depends on state that is invisible in the current frame. We present Stateful Harness, a framework that separates world evolution from video rendering to support stateful and rule-governed interaction. It maintains an evolving world state under specified rules, renders each resulting event with a frozen video model, and uses the generated clip to update the world state for the next turn. At each turn, the harness resolves the action selected by the user and compiles the resulting event into an instruction, while a preview clip from an editable 3D scene provides spatial and camera guidance. To evaluate rule compliance, we build WorldState-Bench, a benchmark of 50 counterfactual twin pairs that share an initial frame and action but differ in hidden state and required outcome. Under rule-only prompting, the best of the 11 evaluated video backends produces the required endings for both cases in 32% of pairs. For MiniMax-H3, specifying the required endings raises this rate from 32% to 64%, while the full harness reaches 92% with the same frozen model. These results support separating rule execution from video rendering for world interactions with hidden state.