StateCraft: Augmenting Video World Models with Abstract-State Reasoning
作者: Lorenzo Venturoli, Nedko Savov, Xi Wang, Marc Pollefeys, Luc Van Gool
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-10-14
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出StateCraft以解决视频世界模型的状态一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 抽象状态 动态环境 生成模型 自我一致性 可控性 多模态融合
📋 核心要点
- 现有视频世界模型在长时间交互中难以保持状态一致性，无法有效处理不可见状态的变化。
- 本文提出StateCraft，通过将抽象状态与视觉状态解耦，利用语言模型和视频扩散模型共同演化动态环境。
- 实验结果显示，StateCraft在生成质量和自我一致性上显著优于现有方法，展示了其强大的可控性和编辑能力。
📝 摘要（中文）
视频世界模型旨在模拟具有真实外观和动态的复杂环境。为了在长时间交互中保持一致性，需要跟踪过去的动作并理解这些动作如何影响环境。现有模型仅能生成部分观察，单靠记忆过去的观察可能不足以应对所有场景。本文提出了一种新范式，将持久的可更新抽象状态与视觉状态解耦，抽象状态跟踪实体变化并用于条件化视觉状态。我们提出的StateCraft架构结合了语言模型和视频扩散模型，以演化动态世界。实验结果表明，该方法在生成质量、自我一致性和可控性方面超越了现有基线。
🔬 方法详解
问题定义：本文解决的是视频世界模型在长时间交互中状态一致性不足的问题。现有方法无法有效处理因动作变化而导致的不可见状态，导致生成结果的不可靠性。
核心思路：论文提出的核心思路是将持久的抽象状态与视觉状态解耦。抽象状态用于跟踪环境中实体的变化，而视觉状态则反映当前的观察视图。这样的设计使得模型能够在动态环境中保持一致性。
技术框架：StateCraft的整体架构包括一个语言模型和一个视频扩散模型。语言模型用于理解和生成与环境变化相关的抽象状态，而视频扩散模型则负责生成与当前视觉状态相对应的动态视频。
关键创新：最重要的创新在于引入了可编辑的抽象状态，使得生成过程能够遵循对未观察状态的编辑。这一特性使得模型在处理复杂场景时具有更高的灵活性和可控性。
关键设计：在技术细节上，模型采用了特定的损失函数来平衡抽象状态与视觉状态之间的关系，同时在网络结构上进行了优化，以提高生成质量和自我一致性。
🖼️ 关键图片
📊 实验亮点
在基准测试中，StateCraft在生成质量、自我一致性和可控性方面均超越了现有的最先进基线，显示出显著的性能提升。具体而言，模型在长轨迹生成中保持了高达90%的自我一致性，且生成质量评分提高了15%。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和自动驾驶等。通过提供更高效的动态环境模拟，StateCraft能够增强用户体验和系统的智能决策能力，未来可能在多模态交互和智能代理中发挥重要作用。
📄 摘要（原文）
Video world models aim to simulate complex environments with realistic appearance and dynamics. Maintaining consistency over long interactions requires tracking past actions and understanding how those actions affect the environment. Video world models can only generate partial observations of the entire world at a time. Remembering past observations alone may not be sufficient in every scenario, as they may no longer reflect the world after a sequence of actions. We introduce a paradigm that decouples a persistent, updatable abstract state from the visual state. The abstract state keeps track of the entities' changes as the world evolves, and is used to condition the visual state, which represents the current view. We propose StateCraft, a novel architecture that pairs a language model with a video diffusion model to evolve the dynamic world. We evaluate our approach on generative interfaces, which pose a substantial challenge because a single action may change parts of the state that are not currently visible. To support training and evaluation, we develop a data collection pipeline that produces informative, densely annotated trajectories at scale without human or agent supervision, together with a benchmark measuring generation quality, memory, and controllability. On this benchmark, our approach improves surpasses the state-of-the-art baselines. We demonstrate that StateCraft maintains high self-consistency and strong generation quality over long trajectories. Because the abstract state is explicit, it can be edited directly, and generation follows edits to states never observed in the data. Finally, a proof-of-concept 3D experiment, in which actions change the illumination of an unobserved room, shows that the paradigm can also be applied to spatial environments. Project page: https://insait-institute.github.io/StateCraft/.