WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
作者: Wangbo Yu, Kunhao Liu, Wenbo Hu, Shenghai Yuan, Chaoran Feng, Haiyang Zhou, Yukun Huang, Yiran Wang, Wang Zhao, Yingmin Luo, Ying Shan
分类: cs.CV, cs.AI, cs.GR
发布日期: 2026-09-21
备注: Project webpage: https://drexubery.github.io/WorldCrafter
💡 一句话要点
提出WorldCrafter以解决视频世界模型长时间一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 动态环境 隐式3D感知 长时间一致性 相机控制 多视角证据 蒸馏训练
📋 核心要点
- 现有的视频世界模型在长时间和不同视角下难以保持一致性，限制了动态环境的交互探索能力。
- WorldCrafter通过学习相机可查询的隐式3D感知记忆，利用请求视角来优化多视角证据的压缩过程。
- 实验结果显示，WorldCrafter在长时间一致性和相机控制精度上有显著提升，且在视觉质量上表现优异。
📝 摘要（中文）
视频世界模型使得动态环境的交互探索成为可能，但在长时间和不同视角下保持先前观察的一致性方面存在挑战。本文提出WorldCrafter，一个学习相机可查询的隐式3D感知记忆的视频世界模型。其核心思想是让请求的视角影响多视角证据如何压缩到视频生成器的有限令牌预算中。通过与视频生成器联合训练，记忆编码器和姿态条件读取模块在去噪之前将历史观察整合到固定的目标视角特定令牌集中，而无需显式的深度对应关系。结合最近的时间上下文和少步蒸馏，WorldCrafter实现了从单一输入图像或文本提示中进行流式场景探索。实验结果表明，在静态和动态场景中，长时间一致性和相机控制精度显著提升，同时在分钟级探索中保持视觉质量。
🔬 方法详解
问题定义：本文旨在解决视频世界模型在长时间和不同视角下保持一致性的问题。现有方法在处理动态环境时，往往无法有效整合历史观察，导致生成的场景缺乏连贯性。
核心思路：WorldCrafter的核心思路是通过学习一个相机可查询的隐式3D感知记忆，使得请求的视角能够影响多视角证据的压缩方式，从而优化视频生成过程。这样的设计使得模型能够在有限的令牌预算内有效整合历史信息。
技术框架：WorldCrafter的整体架构包括视频生成器、记忆编码器和姿态条件读取模块。记忆编码器负责将历史观察整合为目标视角特定的令牌，而姿态条件读取模块则在去噪过程中利用这些令牌。
关键创新：最重要的技术创新在于引入了相机可查询的隐式3D感知记忆，使得模型能够在没有显式深度对应关系的情况下，依然保持长时间的一致性和准确性。
关键设计：在模型设计中，采用了固定的目标视角特定令牌集，并结合了最近的时间上下文和少步蒸馏技术，以提升模型在动态场景中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WorldCrafter在长时间一致性和相机控制精度上较现有基线方法有显著提升，具体表现为在静态和动态场景中，长时间一致性提高了XX%，相机控制精度提升了YY%。同时，视觉质量在分钟级探索中保持稳定，未出现明显的视觉失真。
🎯 应用场景
WorldCrafter的研究成果在多个领域具有潜在应用价值，包括虚拟现实、增强现实和游戏开发等。通过提供更为一致和准确的动态场景生成能力，该模型能够提升用户的沉浸体验和交互质量，未来可能在智能机器人和自动驾驶等领域发挥重要作用。
📄 摘要（原文）
Video world models enable interactive exploration of dynamic environments, yet struggle to respect prior observations over long horizons and across viewpoints. We present WorldCrafter, a video world model that learns a camera-queryable implicit 3D-aware memory for this purpose. The key insight is to let the requested viewpoint shape how multi-view evidence is compressed into the video generator's limited token budget. Trained jointly with the video generator, a memory encoder and pose-conditioned readout module integrate historical observations into a fixed set of target view-specific tokens before denoising, without explicit depth-based correspondences. By combining this memory with recent temporal context and few-step distillation, WorldCrafter enables streaming scene exploration from a single input image or text prompt. Experiments across static and dynamic scenes show substantial gains in long-horizon consistency and camera-control accuracy while preserving visual quality during minute-scale exploration.