DreamGen: Unlocking Generalization in Robot Learning through Video World Models

📄 arXiv: 2505.12705v2 📥 PDF

作者: Joel Jang, Seonghyeon Ye, Zongyu Lin, Jiannan Xiang, Johan Bjorck, Yu Fang, Fengyuan Hu, Spencer Huang, Kaushil Kundalia, Yen-Chen Lin, Loic Magne, Ajay Mandlekar, Avnish Narayan, You Liang Tan, Guanzhi Wang, Jing Wang, Qi Wang, Yinzhen Xu, Xiaohui Zeng, Kaiyuan Zheng, Ruijie Zheng, Ming-Yu Liu, Luke Zettlemoyer, Dieter Fox, Jan Kautz, Scott Reed, Yuke Zhu, Linxi Fan

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-05-19 (更新: 2025-06-17)

备注: See website for videos: https://research.nvidia.com/labs/gear/dreamgen

🔗 代码/项目: GITHUB

💡 一句话要点

DreamGen：通过视频世界模型解锁机器人学习的泛化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人学习 视频世界模型 泛化能力 合成数据 神经轨迹

📋 核心要点

  1. 现有机器人学习方法依赖大量真实数据，泛化能力受限，难以适应新环境和新任务。
  2. DreamGen利用视频世界模型生成合成数据，通过神经轨迹训练机器人策略，提升泛化能力。
  3. 实验表明，DreamGen使人形机器人能够在多种环境中执行多种新行为，仅需少量真实数据。

📝 摘要（中文）

本文介绍DreamGen，一个简单而高效的四阶段流程，通过神经轨迹（由视频世界模型生成的合成机器人数据）训练具有跨行为和环境泛化能力的机器人策略。DreamGen利用最先进的图像到视频生成模型，将其适配到目标机器人，以生成逼真的合成视频，展示在各种环境中熟悉或新颖的任务。由于这些模型仅生成视频，我们使用潜在动作模型或逆动力学模型（IDM）恢复伪动作序列。尽管其简单性，DreamGen解锁了强大的行为和环境泛化能力：一个人形机器人可以在已见和未见环境中执行22种新行为，同时仅需要来自单个环境中拾取和放置任务的遥操作数据。为了系统地评估该流程，我们引入了DreamGen Bench，这是一个视频生成基准，显示了基准性能与下游策略成功之间的强相关性。我们的工作为扩展机器人学习开辟了一条有希望的新途径，远远超出了手动数据收集的范围。

🔬 方法详解

问题定义：现有机器人学习方法严重依赖于真实世界的数据收集，这既耗时又昂贵，并且收集到的数据往往难以覆盖所有可能的环境和任务变化。因此，训练出的机器人策略泛化能力较差，难以适应新的环境和任务。现有方法的痛点在于数据获取的瓶颈和泛化能力的不足。

核心思路：DreamGen的核心思路是利用视频世界模型生成大量的合成数据，这些数据覆盖了各种环境和任务变化，从而训练出具有更强泛化能力的机器人策略。通过在合成数据上进行训练，机器人可以学习到更加通用的行为模式，从而更好地适应真实世界中的新环境和任务。

技术框架：DreamGen包含四个主要阶段：1) 视频世界模型训练：使用真实世界的视频数据训练一个图像到视频的生成模型，使其能够生成逼真的机器人操作视频。2) 合成数据生成：利用训练好的视频世界模型，生成大量的合成机器人操作视频，这些视频涵盖了各种环境和任务变化。3) 伪动作序列恢复：由于视频世界模型只生成视频，需要使用潜在动作模型或逆动力学模型（IDM）从视频中恢复伪动作序列。4) 策略训练：使用生成的合成数据（包括视频和伪动作序列）训练机器人策略。

关键创新：DreamGen的关键创新在于将视频世界模型应用于机器人学习，并利用其生成合成数据来提升机器人策略的泛化能力。与传统的机器人学习方法相比，DreamGen不需要大量真实世界的数据，而是通过合成数据来扩展训练数据集，从而显著提升了机器人策略的泛化能力。此外，DreamGen Bench的提出，为视频生成模型在机器人学习中的应用提供了一个系统性的评估框架。

关键设计：在视频世界模型方面，论文采用了最先进的图像到视频生成模型，并针对目标机器人进行了适配。在伪动作序列恢复方面，论文使用了潜在动作模型和逆动力学模型（IDM）两种方法，并对它们的性能进行了比较。在策略训练方面，论文采用了常见的强化学习算法，并针对合成数据的特点进行了调整。具体的参数设置、损失函数和网络结构等技术细节在论文中有详细描述，此处不再赘述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DreamGen在实验中表现出强大的泛化能力。人形机器人仅使用来自单个环境中拾取和放置任务的遥操作数据，就能在已见和未见环境中执行22种新行为。DreamGen Bench的评估结果表明，视频生成模型的性能与下游策略的成功之间存在强相关性，验证了该方法的有效性。这些结果表明，DreamGen为扩展机器人学习开辟了一条有希望的新途径。

🎯 应用场景

DreamGen具有广泛的应用前景，可用于各种机器人学习任务，例如家庭服务机器人、工业机器人和自动驾驶汽车等。通过利用DreamGen，可以显著降低机器人学习的成本和难度，并提升机器人策略的泛化能力，使其能够更好地适应真实世界中的复杂环境和任务。该研究的未来影响在于推动机器人技术的普及和应用，使机器人能够更好地服务于人类。

📄 摘要（原文）

We introduce DreamGen, a simple yet highly effective 4-stage pipeline for training robot policies that generalize across behaviors and environments through neural trajectories - synthetic robot data generated from video world models. DreamGen leverages state-of-the-art image-to-video generative models, adapting them to the target robot embodiment to produce photorealistic synthetic videos of familiar or novel tasks in diverse environments. Since these models generate only videos, we recover pseudo-action sequences using either a latent action model or an inverse-dynamics model (IDM). Despite its simplicity, DreamGen unlocks strong behavior and environment generalization: a humanoid robot can perform 22 new behaviors in both seen and unseen environments, while requiring teleoperation data from only a single pick-and-place task in one environment. To evaluate the pipeline systematically, we introduce DreamGen Bench, a video generation benchmark that shows a strong correlation between benchmark performance and downstream policy success. Our work establishes a promising new axis for scaling robot learning well beyond manual data collection. Code available at https://github.com/NVIDIA/GR00T-Dreams.