RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

📄 arXiv: 2607.06559v1 📥 PDF

作者: Haoyu Zhao, Xingyue Zhao, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

分类: cs.RO

发布日期: 2026-07-07

备注: Project Page: https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io, Github: https://github.com/alibaba-damo-academy/RynnWorld-4D

💡 一句话要点

提出RynnWorld-4D以解决机器人操作中的4D动态预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 机器人操作 4D动态预测 多模态融合 生成模型 深度学习 数据集构建 策略学习

📋 核心要点

  1. 现有方法在处理开放世界中的机器人操作时，难以有效预测场景的4D动态，导致操作精度不足。
  2. 论文提出RynnWorld-4D模型，通过RGB-DF表示，生成未来的RGB帧、深度图和光流，提升了对场景动态的理解。
  3. 实验结果显示，RynnWorld-4D在时空一致性预测上表现优异，RynnWorld-4D-Policy在双手操作任务中达到了最先进的性能，尤其在空间精度和时间协调性方面表现突出。

📝 摘要（中文）

在开放世界中的机器人操作不仅需要识别场景的外观，还需预测其3D结构在交互下的运动。本文提出RGB、深度和光流的同步表示（RGB-DF），提供了一种物理基础的4D动态表示。基于此，提出RynnWorld-4D生成模型，从单一RGB-D图像和语言指令中生成未来的RGB帧、深度图和光流。该模型采用三分支架构，确保外观、几何和运动的一致演变。此外，构建了Rynn4DDataset 1.0，以支持大规模训练。实验表明，RynnWorld-4D在时空一致性预测上表现优异，RynnWorld-4D-Policy在真实世界的双手操作任务中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决机器人操作中对场景4D动态的预测问题。现有方法多依赖于2D视频，无法有效捕捉场景的几何和运动信息，导致机器人操作的精度和效率不足。

核心思路：提出RGB-DF（同步RGB、深度和光流）作为物理基础的4D动态表示，能够更好地对场景进行建模，从而提升机器人对环境的理解和操作能力。

技术框架：RynnWorld-4D采用三分支架构，分别处理RGB、深度和光流信息，结合跨模态注意力机制和帧级3D RoPE，确保不同模态信息的一致演变。

关键创新：最重要的创新在于将多模态信息（RGB、深度、光流）整合到一个统一的扩散过程中，生成未来的场景表示，显著缩小了世界预测与策略学习之间的差距。

关键设计：模型设计中采用了高质量的伪标签来训练深度和光流，确保数据的准确性。此外，RynnWorld-4D-Policy通过单次前向传递利用内部4D表示，避免了多步骤去噪的高计算成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RynnWorld-4D在时空一致性预测上表现优异，RynnWorld-4D-Policy在真实世界的双手操作任务中达到了最先进的性能，尤其在空间精度和时间协调性方面，较基线方法提升了显著的性能。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造、虚拟现实和增强现实等。通过提升机器人对动态场景的理解能力，能够在复杂环境中实现更高效的操作，推动人机协作的进步，具有重要的实际价值和未来影响。

📄 摘要（原文）

Robotic manipulation in the open world requires not only recognizing what a scene looks like, but also anticipating how its 3D structure moves under interaction. We argue that synchronized RGB, depth, and optical flow, namely RGB-DF, provide a physically grounded representation that captures the underlying 4D dynamics of a scene. Compared to 2D pixel videos, this multi-modal synergy aligns visual appearance with geometric structure and temporal motion, creating a representation space significantly closer to the low-level end-effector actions demanded by robotic systems, thereby narrowing the gap between world prediction and policy learning. Building on this insight, we introduce RynnWorld-4D, a generative model that co-produces future RGB frames, depth maps, and optical flow from a single RGB-D image and a language instruction within one unified diffusion process. This 4D world model features a tri-branch architecture that integrates cross-modal attention with frame-wise 3D RoPE, ensuring that appearance, geometry, and motion evolve consistently. To supply training data at scale, we curate Rynn4DDataset 1.0, a massive dataset of over 254.4 million frames across egocentric human and robotic manipulation videos with high-quality pseudo-labels for depth and optical flow. We further propose RynnWorld-4D-Policy, an inverse dynamics head that consumes the internal 4D representations of RynnWorld-4D in a single forward pass, bypassing expensive multi-step denoising, to output robot actions in a closed-loop manner. Experiments show that RynnWorld-4D produces temporally and spatially coherent 4D predictions, and that RynnWorld-4D-Policy achieves state-of-the-art performance on real-world dexterous bimanual manipulation tasks, particularly excelling in tasks demanding spatial precision and temporal coordination.