MoWorld: A Flash World Model
作者: Team Moxin, Deyi Ji, Tianrun Chen, Xin Zhang, Jiale Yang, Qi Zhu, An Zhao, Zihao Xie, Han Wang, Xuanyi Liu, Yixiang Zhou, Pei Liu, Yi Tan, Cheng Chen, Dayi Zhu, Mingyu Wei, Hanjie Xu, Jun Liao, Siqi Li, Lingyu Lu, Hongye Fang, Hongming Tan, Youjiang Zhu, Taiyu Zhang, Zejian Li, Chaotao Ding, Lanyun Zhu, Yunhe Pan, Lingyun Sun
分类: cs.CV
发布日期: 2026-07-07
备注: Project Page: https://moxin-tech.github.io/moworld/
💡 一句话要点
提出MoWorld以解决高效实时世界模型构建问题
🎯 匹配领域: 支柱二:RL算法与架构 (RL & Architecture)
关键词: 世界模型 实时推理 3D数据引擎 蒸馏训练 高效部署
📋 核心要点
- 现有世界模型在推理效率和实用性上存在不足,难以满足实时交互需求。
- MoWorld通过构建高效的3D数据引擎和优化的训练策略,提升了模型的实时推理能力。
- 实验表明,MoWorld的推理成本显著低于现有模型,且在多种应用场景中表现优异。
📝 摘要(中文)
未来的世界模型不仅依赖于模型能力的扩展,还需要提升实用性和推理效率。为此,我们提出了MoWorld,一个高性能的Flash世界模型,具备端到端框架,涵盖数据生成、预训练、蒸馏和高效推理,能够在无需高端GPU的情况下实现高达50 FPS的实时交互,且视觉质量达到电影级别。MoWorld通过优化模型能力和成本,支持大规模实际部署。与现有方法不同,MoWorld基于可扩展的3D原生数据引擎,构建几何一致的训练数据,采用课程交叉帧预训练策略和高效的去噪蒸馏算法,最终实现低成本的实时部署。综合评估表明,MoWorld在性能上处于领先地位,其平均推理成本仅为现有世界模型的30%-50%。
🔬 方法详解
问题定义:论文旨在解决现有世界模型在推理效率和实用性上的不足,尤其是在实时交互场景中的应用挑战。现有方法多依赖于大规模视频数据,导致推理速度慢且成本高。
核心思路:MoWorld的核心思路是构建一个高效的Flash世界模型,通过优化数据生成和训练流程,实现高帧率的实时交互。其设计理念是利用3D原生数据引擎,确保训练数据的几何一致性,从而提升模型的稳定性和效率。
技术框架:MoWorld的整体架构包括数据生成、预训练、蒸馏和推理四个主要模块。首先,通过3D数据引擎生成训练数据;然后进行课程交叉帧预训练;接着应用去噪蒸馏算法降低训练成本;最后实现低成本的并行推理。
关键创新:MoWorld的关键创新在于其高效的3D数据引擎和课程学习策略,这与传统依赖视频数据的方法本质上不同,显著提升了模型的训练效率和推理速度。
关键设计:在设计中,MoWorld采用了混合精度并行推理框架,优化了模型的计算资源使用。此外,蒸馏算法的设计使得模型在保持性能的同时,降低了推理成本。
🖼️ 关键图片
📊 实验亮点
实验结果显示,MoWorld在推理效率上表现优异,其平均推理成本仅为现有世界模型的30%-50%。在高达50 FPS的实时交互中,MoWorld展现了电影级的视觉质量,证明了其在实际应用中的可行性和优势。
🎯 应用场景
MoWorld的潜在应用场景包括自动驾驶、机器人控制和虚拟现实等领域。其高效的实时推理能力使得在复杂环境中的自主决策和交互成为可能,具有广泛的实际价值和未来影响。
📄 摘要(原文)
The future of World Models depends not only on scaling model capability, but also on scaling practicality and inference efficiency. High-frame-rate inference enables responsive perception, planning, and control in real-world autonomous systems. To this end, we present MoWorld, a cost-effective yet high-performance Flash World Model with an end-to-end framework spanning data generation, pre-training, distillation, and efficient inference, enabling up to 50 FPS real-time interaction with cinematic visual quality without the need of high-end GPUs. To enable large-scale real-world deployment, MoWorld jointly optimizes model capability and cost throughout the entire development pipeline. Specifically, unlike existing approaches that primarily rely on large-scale video corpora, MoWorld is built upon a scalable 3D-native data engine accumulated from our large-scale 3D vision and generative modeling pipeline, enabling the efficient construction of geometrically consistent training data across diverse real-world and synthetic environments. Based on this foundation, a curriculum cross-frame pre-training strategy for stable and scalable World Model learning, an efficient denoising-step distillation algorithm to reduce diffusion training cost, and a mixed-precision parallel inference framework for low-cost real-time deployment. MoWorld is the first real-time interactive World Model built on the Neural Processing Unit (NPU) and can achieves up to 50 FPS in such the devices, enabling practical and efficient deployment at scale. Comprehensive evaluations demonstrate that MoWorld achieves leading performance; notably, its average inference cost is only 30\%-50\% of that of existing World Models, providing a practical foundation for large-scale real-world applications of World Models. We also demonstrate diverse applications of MoWorld.