DepthWorld: 3D World Model for Robot Manipulation

📄 arXiv: 2610.08780v1 📥 PDF

作者: Jai Bardhan, Josef Sivic, Vladimir Petrik

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-06

备注: Accepted at the Conference on Robot Learning (CoRL) 2026. Project page: https://www.jaibardhan.com/depthworld. 32 pages including supplementary material, 15 figures, 7 tables

💡 一句话要点

提出DepthWorld以解决机器人操作中的3D世界建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维世界建模 机器人操作 深度学习 多模态融合 视频扩散模型

📋 核心要点

  1. 现有的视频基础世界模型仅依赖RGB数据，导致生成的三维世界不一致，无法满足机器人操作的需求。
  2. 本文提出了一种校准管道，结合学习的立体深度与联合因子图，恢复机器人的运动学参数和场景外部参数。
  3. 在DROID数据集上，DepthWorld模型的RGB预测性能提升了1.48 dB PSNR，同时提供准确的度量深度，支持下游几何推理。

📝 摘要（中文）

世界模型为机器人提供了一种数据驱动的替代传统模拟器的方法，应用于策略评估、改进和规划。然而，现有的视频基础世界模型仅依赖RGB数据，导致生成的三维世界不一致。为了解决这一问题，本文提出了一种校准管道，结合学习的立体深度与联合因子图，从同一物理机器人收集的所有数据集中恢复共享的运动学参数和每场景的外部参数。通过在DROID数据集上的应用，生成了DROID-3D，一个提供密集度量深度和重新校准的多视角外部参数的3D数据集。接着，训练了DepthWorld，一个基于稳定视频扩散的世界模型，能够联合预测多视角RGB和深度，且在相同训练预算下RGB预测提升了1.48 dB PSNR。

🔬 方法详解

问题定义：本文旨在解决现有视频基础世界模型在生成一致的三维世界时的不足，特别是仅依赖RGB数据导致的几何不准确性。

核心思路：提出了一种校准管道，结合学习的立体深度和联合因子图，能够在不干扰预训练视频先验的情况下，吸收大规模的三维监督信息。

技术框架：整体架构包括数据收集、校准管道和DepthWorld模型训练三个主要阶段。首先，收集来自同一物理机器人的多场景数据；其次，通过联合因子图恢复运动学参数和外部参数；最后，训练DepthWorld模型以联合预测RGB和深度。

关键创新：最重要的创新在于提出了DROID-3D数据集，提供了密集的度量深度和重新校准的多视角外部参数，并且DepthWorld模型在RGB预测和深度估计上均有显著提升。

关键设计：在模型设计中，DepthWorld采用了稳定视频扩散的架构，使用空间潜在平铺技术，同时保持预训练变分自编码器(VAE)不变，确保了模型的稳定性和准确性。通过深度监督，RGB预测性能显著提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DepthWorld模型在RGB预测上相较于相同训练预算的RGB-only基线提升了1.48 dB PSNR，并且在90%的场景中实现了小于0.7 px的重投影误差，展示了其在深度估计和几何推理中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和增强现实等。通过提供准确的三维世界模型，DepthWorld能够显著提升机器人在复杂环境中的操作能力，推动智能机器人技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

World models offer a data-driven alternative to traditional simulators for robotics, with applications spanning policy evaluation, improvement, and planning. All of these uses depend on faithful 3D geometry, yet current video-based world models are trained on RGB alone and produce rollouts that look correct frame-by-frame but do not compose into a consistent 3D world. Closing this gap requires progress on two fronts: large-scale 3D supervision for manipulation, and an architecture that can absorb it without disturbing strong pretrained video priors. We introduce a calibration pipeline that combines learned stereo depth with a joint factor graph, pooling all episodes collected from the same physical robot to recover its shared kinematic parameters alongside per-scene extrinsics. Applied to the DROID dataset, this yields DROID-3D, a calibrated 3D dataset providing dense metric depth and recalibrated multi-view extrinsics (achieving <0.7 px reprojection error on 90% of episodes for external cameras). We then train DepthWorld, a Stable Video Diffusion-based world model that jointly predicts multi-view RGB and depth via spatial latent tiling, leaving the pretrained Variational Autoencoder (VAE) unchanged. Depth supervision improves RGB prediction itself by +1.48 dB PSNR over an identical RGB-only baseline at equal training budget, while simultaneously yielding accurate metric depth for downstream geometric reasoning.