Momentum: Persistent Dynamics for Video World Models
作者: Nedko Savov, Stefan Maria Ailuro, Danda Pani Paudel, Yilun Du, Xi Wang, Luc Van Gool
分类: cs.CV
发布日期: 2026-10-16
💡 一句话要点
提出Momentum以解决视频世界模型动态场景一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 动态场景 一致性生成 相机同步 图形结构 自动驾驶 虚拟现实
📋 核心要点
- 现有视频世界模型方法无法有效处理视野外的动态场景内容，导致生成的对象在物理上不准确。
- 本文提出Momentum，通过同步视频和图形结构连接多个相机设备，协调场景动态并保持动态内容的一致性。
- 实验结果显示，Momentum在未见场景中的动态场景一致性提高了126.2%，同时提升了视觉保真度。
📝 摘要（中文）
视频世界模型必须捕捉场景在当前相机视野之外的演变，以便在内容重新出现时生成一致的观察结果。现有方法依赖于观察历史、静态点云或从过去帧构建的图像缓存，这些表示通常代价高昂，并且无法更新视野外的动态场景内容。本文通过参考相机设备的同步视频表示演变场景，并在邻近设备之间传播视频生成，以协调场景动态。我们提出了Momentum，一个两阶段的管道：WorldUpdate生成参考相机视频作为场景动态的共享记忆，WorldInteract则在这一演变记忆中进行相机控制的视频生成。实验表明，基于Momentum生成的动态场景一致性提高了126.2%。
🔬 方法详解
问题定义：本文旨在解决现有视频世界模型在处理动态场景时的不足，尤其是如何在视野外保持动态对象的一致性。现有方法依赖静态表示，无法有效更新动态内容。
核心思路：论文提出通过参考相机设备的同步视频来表示演变场景，并在多个相机之间传播视频生成，从而实现动态内容的持续表示和一致性。
技术框架：整体架构包括两个主要模块：WorldUpdate和WorldInteract。WorldUpdate负责生成参考相机视频作为场景动态的共享记忆，而WorldInteract则在此基础上进行相机控制的视频生成。
关键创新：Momentum的核心创新在于通过图形结构连接多个相机设备，实现了动态场景的一致性表示，克服了传统方法的局限性。
关键设计：在技术细节上，Momentum使用了特定的损失函数来优化视频生成的一致性，并设计了高效的网络结构以支持实时视频生成和动态内容的更新。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Momentum在未见场景中的动态场景一致性提高了126.2%，相较于静态图像条件下的生成效果显著提升，同时视觉保真度也得到了改善。这一成果展示了Momentum在动态场景生成中的有效性。
🎯 应用场景
该研究在自动驾驶、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提高动态场景的一致性，Momentum可以为这些领域提供更真实的环境模拟，增强用户体验，并推动相关技术的发展。
📄 摘要（原文）
Video world models must capture how a scene evolves beyond the current camera view to generate consistent observations when its content reappears. Existing approaches rely on observation history, static point clouds, or image caches constructed from past frames. These representations are often expensive and, more importantly, cannot update dynamic scene content outside the field of view: generated vehicles and pedestrians may be forgotten after leaving the field of view or reappear in physically inaccurate states. We represent an evolving scene through synchronized videos from reference-camera rigs, each comprising eight cameras that jointly cover the surrounding scene. We connect these rigs in a graph and propagate video generation between neighboring rigs to coordinate scene dynamics across locations and time. We introduce Momentum, a two-stage pipeline: WorldUpdate jointly generates reference-camera videos as a shared memory of scene dynamics, and WorldInteract grounds camera-controlled video generation in this evolving memory, allowing moving content to remain represented outside the target view and reappear consistently. To support training and evaluation, we develop a CARLA pipeline that captures synchronized videos from reference camera rigs and a moving target camera, together with an evaluation framework measuring consistency within the generated world state and the target observations.Experiments on generated street scenes show that grounding target videos in scene dynamics generated by Momentum improves dynamic scene consistency by 126.2% in unseen scenes over static image conditioning, while also improving visual fidelity. Our models and source code will be made publicly available.