RoGSW4RLD: Feed-Forward 4D Gaussian Lifting for Robot World Model Rollouts

📄 arXiv: 2609.35311v1 📥 PDF

作者: Jin Hyun Kim, Min Young Kim, Soohwan Song, Daekyum Kim

分类: cs.CV, cs.RO

发布日期: 2026-09-28

💡 一句话要点

提出RoGSW4RLD以解决多视角视频世界模型一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多视角重建 4D高斯场 机器人导航 视频预测 跨视角一致性

📋 核心要点

  1. 现有的4D重建方法在处理多摄像头视频时，无法有效保持跨视角的一致性，导致重建结果不理想。
  2. RoGSW4RLD通过直接重建现有世界模型生成的视觉未来，采用两阶段架构提升了多视角视频的统一性。
  3. 在256个DROID实验中，RoGSW4RLD在新视角PSNR上提高了2.15 dB，深度绝对相对误差减少了47%，机器人位移误差降低了61%。

📝 摘要（中文）

现有的基于动作的视频世界模型虽然能够预测机器人与环境的未来交互，但其输出仍然是分散的视频集合，缺乏跨视角和时间的统一度量场。为了解决这一问题，本文提出了RoGSW4RLD，一个前馈框架，将同步的多摄像头预测提升为统一的、可时间查询的4D高斯场。该方法通过两个阶段的架构，首先融合跨视角证据与机器人特定的几何和运动学，随后在严格保持初始时间位移的同时，优化几何和外观。实验结果表明，RoGSW4RLD在多个指标上显著优于传统的摄像头重建方法。

🔬 方法详解

问题定义：本文旨在解决现有多视角视频世界模型在重建时缺乏跨视角一致性的问题。传统方法在独立重建和合并每个摄像头流时，无法有效整合不同视角的信息，导致重建结果不准确。

核心思路：RoGSW4RLD的核心思路是直接重建由现有世界模型生成的视觉未来，而不是学习独立的几何过渡模型。通过融合跨视角证据与机器人特定的几何和运动学，提升了重建的准确性和一致性。

技术框架：RoGSW4RLD采用两阶段架构。第一阶段通过融合不同视角的信息形成统一的4D高斯场，第二阶段则在保持初始时间位移的前提下，优化几何和外观。

关键创新：RoGSW4RLD的主要创新在于其两阶段架构，能够有效融合多视角数据，解决了传统方法在重建过程中的一致性问题。与现有方法相比，该框架在处理动态场景时表现出更高的鲁棒性。

关键设计：在设计中，RoGSW4RLD使用了特定的损失函数来优化几何和外观，同时确保时间位移的保留。网络结构方面，采用了适应性融合机制，以增强不同视角信息的整合效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在256个DROID实验中，RoGSW4RLD的新视角PSNR提高了2.15 dB，深度绝对相对误差减少了47%，机器人位移误差降低了61%。这些结果表明，该方法在多视角视频重建中显著优于传统的摄像头重建方法，展示了其强大的性能提升。

🎯 应用场景

RoGSW4RLD的研究成果在机器人导航、自动驾驶和虚拟现实等领域具有广泛的应用潜力。通过提供一致的4D度量表示，该方法能够提升机器人在复杂环境中的交互能力，促进智能系统的自主决策与规划。未来，该技术还可能推动多视角视频分析和理解的发展。

📄 摘要（原文）

Action-conditioned video world models predict future robot interactions from multiple cameras, yet their outputs remain disparate video collections rather than a shared metric scene queryable across viewpoints and time. While existing 4D reconstruction methods offer a path to spatialize these predictions, independently reconstructing and merging each camera stream fails to enforce cross-view consistency. This limitation is particularly detrimental when combining moving robot-mounted cameras with fixed external views. To address this, we introduce RoGSW4RLD, a feed-forward framework that lifts synchronized multi-camera rollouts into a unified, time-queryable metric 4D Gaussian field. Rather than learning a separate geometric transition model, RoGSW4RLD directly reconstructs the visual future generated by existing world models. Its core innovation is a two-stage architecture: Stage 1 jointly forms the metric 4D field by fusing cross-view evidence with robot-specific articulated geometry and kinematics, while Stage 2 refines the field's geometry and appearance while strictly preserving the initial temporal displacements. Evaluated on 256 held-out DROID episodes, RoGSW4RLD significantly outperforms camera-wise reconstruction with calibrated merging, improving novel-view PSNR by 2.15 dB, reducing depth AbsRel by 47%, and lowering robot displacement error by 61%. These robust gains extend to action-conditioned Cosmos 3 rollouts, demonstrating that predicted video futures can be successfully translated into consistent, spatially queryable 4D metric representations.