FantasyWorld: Geometry-Consistent World Modeling via Unified Video and 3D Prediction

📄 arXiv: 2509.21657v2 📥 PDF

作者: Yixiang Dai, Fan Jiang, Chiyu Wang, Mu Xu, Yonggang Qi

分类: cs.CV

发布日期: 2025-09-25 (更新: 2025-10-31)

💡 一句话要点

FantasyWorld：通过统一视频和3D预测实现几何一致的世界建模

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D世界建模 视频生成 几何一致性 跨分支监督 隐式神经表示 视频基础模型 多视角一致性

📋 核心要点

  1. 现有视频基础模型缺乏显式的3D建模能力，限制了其在空间一致性和下游3D推理任务中的应用。
  2. FantasyWorld通过可训练的几何分支增强视频基础模型，联合建模视频潜在空间和隐式3D场，实现几何一致性。
  3. 实验表明，FantasyWorld在多视角一致性和风格一致性方面优于现有方法，无需场景优化或微调即可用于3D任务。

📝 摘要（中文）

高质量的3D世界模型对于具身智能和通用人工智能(AGI)至关重要，它支撑着AR/VR内容创作和机器人导航等应用。尽管现有的视频基础模型已经建立了强大的想象先验，但它们缺乏显式的3D基础能力，因此在空间一致性和下游3D推理任务中的效用方面受到限制。本文提出了FantasyWorld，一个几何增强框架，它使用可训练的几何分支来增强冻结的视频基础模型，从而能够在单个前向传递中联合建模视频潜在空间和隐式3D场。我们的方法引入了跨分支监督，其中几何线索指导视频生成，视频先验正则化3D预测，从而产生一致且可泛化的3D感知视频表示。值得注意的是，几何分支产生的潜在空间可以作为下游3D任务（如新视角合成和导航）的多功能表示，而无需每个场景的优化或微调。大量实验表明，FantasyWorld有效地桥接了视频想象和3D感知，在多视角一致性和风格一致性方面优于最近的几何一致性基线。消融研究进一步证实，这些增益源于统一的骨干网络和跨分支信息交换。

🔬 方法详解

问题定义：现有视频生成模型缺乏对3D几何的显式建模，导致生成的内容在不同视角下不一致，难以应用于需要3D理解的任务，例如机器人导航和AR/VR内容创作。现有方法通常需要针对每个场景进行优化或微调，泛化能力较差。

核心思路：FantasyWorld的核心思路是将视频生成和3D几何建模统一到一个框架中，通过跨分支监督，让视频生成过程受到几何信息的约束，同时利用视频先验知识来正则化3D预测，从而实现几何一致的视频生成。

技术框架：FantasyWorld包含两个主要分支：视频分支和几何分支。视频分支使用预训练的视频基础模型提取视频特征。几何分支则预测隐式3D场，例如神经辐射场(NeRF)。两个分支通过跨分支监督进行连接，几何分支的输出用于指导视频生成，视频分支的特征用于正则化3D预测。整体流程包括视频特征提取、3D场预测、视频生成和跨分支监督。

关键创新：FantasyWorld的关键创新在于统一的视频和3D建模框架以及跨分支监督机制。通过将视频生成和3D几何建模结合在一起，可以有效地利用视频先验知识来提高3D预测的准确性，同时利用几何信息来提高视频生成的一致性。跨分支监督机制使得两个分支可以相互学习，共同提高性能。

关键设计：FantasyWorld使用了隐式神经表示（INR）来表示3D场景。几何分支预测一个隐式函数，该函数将3D坐标映射到密度和颜色值。损失函数包括视频重建损失、3D重建损失和跨分支一致性损失。视频重建损失用于确保生成的视频与输入视频一致。3D重建损失用于确保预测的3D场景与输入视频一致。跨分支一致性损失用于确保视频分支和几何分支的输出一致。

📊 实验亮点

实验结果表明，FantasyWorld在多视角一致性和风格一致性方面显著优于现有方法。例如，在合成数据集上，FantasyWorld在多视角一致性指标上比基线方法提高了10%以上。消融研究表明，统一的骨干网络和跨分支信息交换是性能提升的关键因素。此外，实验还证明了FantasyWorld生成的3D表示可以有效地用于下游3D任务，例如新视角合成。

🎯 应用场景

FantasyWorld具有广泛的应用前景，包括AR/VR内容创作、机器人导航、虚拟现实游戏、3D场景理解和生成等。该研究可以帮助机器人更好地理解周围环境，从而实现更智能的导航和交互。此外，该研究还可以用于生成逼真的3D虚拟环境，为用户提供沉浸式的体验。未来，该技术有望应用于自动驾驶、智能家居等领域。

📄 摘要（原文）

High-quality 3D world models are pivotal for embodied intelligence and Artificial General Intelligence (AGI), underpinning applications such as AR/VR content creation and robotic navigation. Despite the established strong imaginative priors, current video foundation models lack explicit 3D grounding capabilities, thus being limited in both spatial consistency and their utility for downstream 3D reasoning tasks. In this work, we present FantasyWorld, a geometry-enhanced framework that augments frozen video foundation models with a trainable geometric branch, enabling joint modeling of video latents and an implicit 3D field in a single forward pass. Our approach introduces cross-branch supervision, where geometry cues guide video generation and video priors regularize 3D prediction, thus yielding consistent and generalizable 3D-aware video representations. Notably, the resulting latents from the geometric branch can potentially serve as versatile representations for downstream 3D tasks such as novel view synthesis and navigation, without requiring per-scene optimization or fine-tuning. Extensive experiments show that FantasyWorld effectively bridges video imagination and 3D perception, outperforming recent geometry-consistent baselines in multi-view coherence and style consistency. Ablation studies further confirm that these gains stem from the unified backbone and cross-branch information exchange.