UniWorld: A Unified World Model for Real-Time Visual World Simulation
作者: Xin Zhang, Yabo Chen, Shuaiwei Wang, Zixuan Duan, Haibin Huang, Feng Xu, Xuelong Li
分类: cs.CV
发布日期: 2026-10-23
💡 一句话要点
提出UniWorld以解决实时视觉世界模拟问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉世界模拟 深度学习 实时生成 几何控制 视频生成 多模态融合
📋 核心要点
- 现有方法在持续视觉世界模拟中难以有效结合场景几何与外观，导致生成效果不稳定。
- UniWorld通过整合深度轨迹与参考外观，构建了一个共享的视频生成模型，确保视觉与几何历史的统一管理。
- 实验结果显示，UniWorld在多种场景下实现了实时生成，且生成效果与历史保持一致，显著提升了模拟效率。
📝 摘要（中文）
持续的视觉世界模拟需要将不断变化的场景几何与时间上持久的外观相结合。我们提出了UniWorld，一个统一框架，将深度轨迹和参考外观集成在一个共享的视频生成模型中。该设计在共同的时间线上维护视觉和几何历史。噪声对齐的重叠延续将生成的历史放置在规定的采样噪声水平，并仅提交新生成的潜在变量。滚动深度潜在状态保持相应的几何控制，逐步读取新可用的几何，并在每个采样窗口内保持条件固定。这些机制确保了潜在历史的精确保留，同时将活动深度状态限制在窗口大小内。我们评估了跨多种场景类别的连续生成、配对历史干预和长时间行为。相同的生成器支持估计、原生和按需模拟器深度，而缓存和增量执行路径产生逐位相同的输出。外观变化和几何控制分支通过相同接口操作，而不修改已提交的历史。测量的稳态DiT执行路径实现了实时生成吞吐量，展示了UniWorld在持续视觉世界模拟中的效率。
🔬 方法详解
问题定义：论文旨在解决持续视觉世界模拟中场景几何与外观的有效结合问题。现有方法在处理动态场景时，往往无法保持生成效果的稳定性与一致性。
核心思路：UniWorld的核心思路是将深度轨迹与参考外观整合在一个统一框架中，通过维护共同的时间线来管理视觉和几何历史，从而实现高效的实时生成。
技术框架：整体架构包括深度轨迹生成模块、参考外观集成模块和历史管理模块。深度潜在状态通过滚动机制逐步更新，而外观变化则通过统一接口进行控制。
关键创新：UniWorld的主要创新在于噪声对齐的重叠延续机制和滚动深度潜在状态的设计，这与现有方法相比，能够更精确地保留潜在历史并控制活动深度状态。
关键设计：在设计中，UniWorld采用了固定的条件设置和增量执行路径，确保生成过程中的一致性和高效性，同时使用了特定的损失函数来优化生成质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UniWorld在多种场景类别下实现了实时生成吞吐量，且生成效果与历史保持一致，性能较基线提升显著，展示了其在持续视觉世界模拟中的优越性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和自动驾驶等场景，其中需要实时生成和更新复杂的视觉环境。UniWorld的高效性和一致性为这些领域提供了更为可靠的技术支持，未来可能推动更高级别的视觉模拟技术的发展。
📄 摘要（原文）
Continuous visual world simulation requires coupling evolving scene geometry with temporally persistent appearance. We present UniWorld, a unified framework that integrates depth trajectories and reference appearance within a shared video generation model. The central design maintains visual and geometric histories on a common timeline. Noise-aligned overlapping continuation places generated history at the prescribed sampling noise level and commits only newly generated latents. Rolling depth latent state preserves the corresponding geometric controls, incrementally reads newly available geometry, and keeps the conditioning fixed within each sampling window. Together, these mechanisms ensure exact preservation of latent history while bounding the active depth state by the window size. We evaluate continuous generation, paired history interventions, and long-horizon behavior across diverse scene categories. The same generator supports estimated, native, and on-demand simulator depth, while cached and incremental execution paths produce bitwise-identical outputs. Appearance changes and geometric control branches operate through the same interface without modifying committed history. The measured steady-state DiT execution path achieves real-time generation throughput, demonstrating the efficiency of UniWorld for continuous visual world simulation.