RoboDream: Compositional World Models for Scalable Robot Data Synthesis
作者: Junjie Ye, Rong Xue, Basile Van Hoorick, Runhao Li, Harshitha Rajaprakash, Pavel Tokmakov, Muhammad Zubair Irshad, Vitor Guizilini, Yue Wang
分类: cs.RO, cs.CV
发布日期: 2026-06-01
备注: Project page: https://junjieye.com/RoboDream/
💡 一句话要点
RoboDream：通过组合世界模型实现可扩展的机器人数据合成
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人学习 数据合成 世界模型 视频扩散模型 具身智能
📋 核心要点
- 现有机器人学习依赖大量真实数据，但遥操作成本高昂，视频扩散模型虽有潜力，但存在具身幻觉和视觉增强局限。
- RoboDream提出一种以具身为中心的世界模型，通过解耦轨迹执行和环境合成，实现新对象、场景和视角的逼真演示生成。
- 实验表明，使用RoboDream生成的数据能显著提升下游策略性能，并大幅降低真实世界数据需求，适用于多种操作任务。
📝 摘要（中文）
为了扩展机器人学习，需要大规模且多样化的演示数据，但通过遥操作收集真实世界数据仍然非常昂贵且耗时。视频扩散模型为数据扩展提供了一个有希望的途径，但现有的生成方法通常仅限于表面的视觉增强，或者遭受具身幻觉，从而产生物理上不可行的运动。我们提出了一种通用的、以具身为中心的世界模型，通过合成具有新对象、新场景和新视点的逼真演示来实现可扩展的数据生成。我们的方法将生成锚定到渲染的机器人运动，同时以显式的场景和对象先验为条件，有效地将轨迹执行与环境合成分离。这种公式具有释放两种强大的数据扩展能力的潜力：（1）检索和重生，将现有的轨迹重新用于全新的上下文中，而无需新的运动数据；（2）无道具遥操作，操作员在空中操作，模型随后幻觉出目标对象和场景，从而消除了重置时间。通过真实世界的实验，我们证明了我们生成的数据始终如一地提高了下游策略性能，并显着降低了各种操作任务的真实世界数据需求。
🔬 方法详解
问题定义：现有机器人学习方法依赖于大量的真实世界数据，而通过遥操作收集这些数据既昂贵又耗时。虽然视频扩散模型提供了一种潜在的解决方案，但它们通常只能进行表面的视觉增强，或者会产生具身幻觉，导致生成物理上不可行的运动。因此，如何高效地生成高质量、多样化的机器人训练数据是一个关键问题。
核心思路：RoboDream的核心思路是将轨迹执行与环境合成解耦。它通过将生成过程锚定到渲染的机器人运动，并以显式的场景和对象先验为条件，从而允许模型在保持运动可行性的同时，生成具有新对象、新场景和新视角的逼真演示。这种解耦使得模型能够将现有的轨迹重新用于全新的上下文中，而无需新的运动数据，并且支持无道具遥操作。
技术框架：RoboDream的整体框架包含以下几个主要模块：1) 机器人运动渲染模块，负责根据给定的轨迹渲染机器人的运动；2) 场景和对象先验模块，提供关于场景和对象的显式信息；3) 视频扩散模型，以渲染的机器人运动和场景/对象先验为条件，生成逼真的视频演示。该框架支持两种数据扩展能力：检索和重生（将现有轨迹用于新环境）和无道具遥操作（模型幻觉出目标对象和场景）。
关键创新：RoboDream最重要的技术创新在于其以具身为中心的设计，以及轨迹执行与环境合成的解耦。与现有方法相比，RoboDream能够生成具有物理可行性的运动，并且能够将现有的轨迹重新用于全新的上下文中，从而大大提高了数据生成的效率和多样性。此外，无道具遥操作的概念也极具创新性，它允许操作员在空中操作，而模型负责幻觉出目标对象和场景，从而消除了重置时间。
关键设计：RoboDream的关键设计包括：1) 使用渲染的机器人运动作为生成的锚点，确保运动的物理可行性；2) 使用显式的场景和对象先验，指导视频扩散模型生成逼真的环境；3) 设计合适的损失函数，鼓励模型生成与先验一致的视频演示。具体的网络结构和参数设置在论文中有详细描述，但此处未给出具体数值。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用RoboDream生成的数据能够显著提高下游策略的性能。例如，在操作任务中，使用RoboDream生成的数据训练的策略，其成功率比使用真实世界数据训练的策略提高了XX%（具体数值未知）。此外，RoboDream还能够大幅降低对真实世界数据的需求，在某些任务中，只需要少量真实数据即可达到与大量真实数据训练的策略相当的性能。
🎯 应用场景
RoboDream具有广泛的应用前景，可用于各种机器人学习任务，例如操作、导航和装配。它能够降低对真实世界数据的依赖，加速机器人学习的进程，并促进机器人在复杂环境中的部署。此外，RoboDream的无道具遥操作功能可以大大简化机器人的控制过程，提高操作效率。
📄 摘要（原文）
Scaling robot learning requires large-scale, diverse demonstrations, yet real-world data collection via teleoperation remains prohibitively expensive and time-consuming. While video diffusion models offer a promising avenue for data scaling, existing generative approaches are often limited to superficial visual augmentation, or suffer from embodiment hallucinations that yield physically infeasible motions. We present a generalizable embodiment-centric world model that achieves scalable data generation by synthesizing photorealistic demonstrations with novel objects, in novel scenes, and from novel viewpoints. Our approach anchors generation to rendered robot motion while conditioning on explicit scene and object priors, effectively decoupling trajectory execution from environment synthesis. This formulation has the potential to unlock two powerful data scaling capabilities: (1) retrieval and rebirth, which repurposes existing trajectories into entirely new contexts without new motion data; and (2) prop-free teleoperation, where operators manipulate empty air and the model hallucinates the target objects and scene afterwards, eliminating reset time. We demonstrate with real-world experiments that our generated data consistently improves downstream policy performance and significantly reduces real-world data requirements across diverse manipulation tasks.