Martian World Model: Controllable Video Synthesis with Physically Accurate 3D Reconstructions
作者: Longfei Li, Zhiwen Fan, Wenyan Cong, Xinhang Liu, Yuyang Yin, Matt Foutter, Panwang Pan, Chenyu You, Yue Wang, Zhangyang Wang, Yao Zhao, Marco Pavone, Yunchao Wei
分类: cs.CV
发布日期: 2025-07-10 (更新: 2025-12-05)
备注: Project Page: https://marsgenai.github.io
💡 一句话要点
提出M3arsSynth和MarsGen，用于生成逼真且可控的火星景观视频，服务于任务预演和机器人仿真。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 火星景观 视频合成 3D重建 机器人仿真 领域自适应
📋 核心要点
- 火星景观视频生成面临火星数据稀缺和地火图像领域差异大的挑战，限制了任务预演和机器人仿真。
- 论文提出M3arsSynth数据流程重建3D火星环境，并提出MarsGen视频生成器，以初始图像和相机轨迹/文本提示为条件生成视频。
- 实验表明，该方法在视觉保真度和3D结构一致性上优于在地球数据上训练的模型，提升了火星环境视频生成的质量。
📝 摘要（中文）
本文提出了一种生成逼真火星景观视频的整体解决方案，该方案对于任务预演和机器人仿真至关重要。由于高质量火星数据的稀缺以及火星和地球图像之间显著的领域差距，这项任务极具挑战性。为了解决这些挑战，我们提出了两个关键组件：1) 数据管理流程Multimodal Mars Synthesis (M3arsSynth)，它从NASA行星数据系统(PDS)提供的真实立体导航图像中重建3D火星环境，并渲染高保真多视角3D视频序列。2) 火星地形视频生成器MarsGen，它合成视觉上逼真且在几何上与数据中编码的3D结构一致的新视频。我们的M3arsSynth引擎涵盖了广泛的火星地形和采集日期，能够生成公制尺度分辨率的物理精确的3D表面模型。MarsGen在M3arsSynth数据上进行微调，可以合成以初始图像帧为条件，并可选择相机轨迹或文本提示的视频，从而可以在新环境中生成视频。实验结果表明，我们的方法优于在地球数据集上训练的视频合成模型，实现了卓越的视觉保真度和3D结构一致性。
🔬 方法详解
问题定义：论文旨在解决火星景观视频合成问题，现有方法受限于高质量火星数据的匮乏以及火星与地球图像之间巨大的领域差异，导致合成的视频真实感不足，无法满足任务预演和机器人仿真的需求。
核心思路：论文的核心思路是构建一个高质量的火星数据集，并在此基础上训练一个能够生成逼真火星视频的生成模型。通过从NASA的PDS数据中重建3D火星环境，并利用这些3D模型渲染高质量的视频序列，从而克服数据稀缺的问题。同时，通过在重建的火星数据上进行微调，减小领域差异。
技术框架：整体框架包含两个主要模块：M3arsSynth和MarsGen。M3arsSynth负责从NASA的PDS数据中重建3D火星环境，并渲染高质量的视频序列。MarsGen则是一个视频生成模型，它以初始图像帧和可选的相机轨迹或文本提示为条件，生成新的火星视频。整个流程首先通过M3arsSynth生成训练数据，然后使用这些数据对MarsGen进行微调，最后使用MarsGen生成新的火星视频。
关键创新：论文的关键创新在于构建了一个高质量的火星数据集M3arsSynth，该数据集包含了从真实火星图像中重建的3D模型和渲染的视频序列。此外，论文还提出了一个基于M3arsSynth数据的视频生成模型MarsGen，该模型能够生成视觉上逼真且在几何上与3D结构一致的火星视频。与现有方法相比，该方法能够更好地利用真实的火星数据，从而生成更逼真的火星视频。
关键设计：M3arsSynth的关键设计在于其3D重建流程，该流程能够从立体导航图像中准确地重建火星表面。MarsGen的关键设计在于其条件生成机制，该机制允许用户通过指定初始图像帧、相机轨迹或文本提示来控制生成的视频内容。具体的网络结构和损失函数等细节在论文中没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MarsGen在火星视频合成任务上优于在地球数据集上训练的视频合成模型，实现了更高的视觉保真度和3D结构一致性。具体性能数据和对比基线在摘要中未提及，属于未知信息。但结论明确表明，该方法在火星视频生成方面取得了显著的提升。
🎯 应用场景
该研究成果可应用于火星探测任务的预演和机器人仿真，帮助科学家和工程师更好地规划和执行火星探测任务。此外，该技术还可以用于教育和娱乐领域，例如创建逼真的火星虚拟现实体验，激发人们对火星探索的兴趣。未来，该技术有望扩展到其他行星或卫星的景观视频生成，为深空探测提供更强大的支持。
📄 摘要（原文）
Synthesizing realistic Martian landscape videos is crucial for mission rehearsal and robotic simulation. However, this task poses unique challenges due to the scarcity of high-quality Martian data and the significant domain gap between Martian and terrestrial imagery. To address these challenges, we propose a holistic solution composed of two key components: 1) A data curation pipeline Multimodal Mars Synthesis (M3arsSynth), which reconstructs 3D Martian environments from real stereo navigation images, sourced from NASA's Planetary Data System (PDS), and renders high-fidelity multiview 3D video sequences. 2) A Martian terrain video generator, MarsGen, which synthesizes novel videos visually realistic and geometrically consistent with the 3D structure encoded in the data. Our M3arsSynth engine spans a wide range of Martian terrains and acquisition dates, enabling the generation of physically accurate 3D surface models at metric-scale resolution. MarsGen, fine-tuned on M3arsSynth data, synthesizes videos conditioned on an initial image frame and, optionally, camera trajectories or textual prompts, allowing for video generation in novel environments. Experimental results show that our approach outperforms video synthesis models trained on terrestrial datasets, achieving superior visual fidelity and 3D structural consistency.