Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation
作者: Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, Sean Kirmani
分类: cs.RO, cs.CV, cs.LG, eess.IV
发布日期: 2024-09-24
备注: Preprint. Under Review
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Gen2Act：通过生成新场景下的人类视频，实现机器人操作的泛化
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 视频生成 零样本学习 泛化能力 模仿学习
📋 核心要点
- 现有机器人操作策略难以泛化到包含新物体和运动的任务中，限制了其应用范围。
- Gen2Act通过生成人类视频来预测运动信息，并以此为条件训练机器人策略，无需大量机器人数据。
- 实验表明，Gen2Act能够使机器人操作未见过的物体类型，并执行机器人数据中未包含的新运动。
📝 摘要（中文）
本文提出了一种解决机器人操作策略泛化到新任务的方法，该方法涉及未见过的物体类型和新的运动。核心思想是从网络数据中预测运动信息，通过人类视频生成，并以此为条件来训练机器人策略。与扩展昂贵的机器人数据收集不同，本文展示了如何利用在易于获取的网络数据上训练的视频生成模型来实现泛化。Gen2Act将语言条件下的操作视为零样本人类视频生成，然后使用以生成的视频为条件的单个策略执行。训练策略所需机器人交互数据比视频预测模型训练数据少一个数量级。Gen2Act不需要微调视频模型，而是直接使用预训练模型生成人类视频。在各种真实场景下的结果表明，Gen2Act能够操作未见过的物体类型，并为机器人数据中不存在的任务执行新的运动。
🔬 方法详解
问题定义：现有机器人操作策略的泛化能力不足，难以应对包含未见过的物体类型和新运动的任务。传统的机器人学习方法依赖于大量的机器人交互数据，数据收集成本高昂，限制了其扩展性。因此，如何利用易于获取的网络数据来提升机器人操作的泛化能力是一个关键问题。
核心思路：Gen2Act的核心思路是利用预训练的视频生成模型，将语言描述的任务转化为人类执行该任务的视频，然后训练一个机器人策略，使其能够根据生成的视频来执行相应的操作。这种方法将机器人学习问题分解为两个子问题：视频生成和策略学习，从而降低了对机器人数据的依赖。
技术框架：Gen2Act的整体框架包含两个主要阶段：1) 人类视频生成阶段：使用预训练的文本到视频生成模型，根据给定的语言指令生成人类执行任务的视频。2) 机器人策略学习阶段：训练一个机器人策略，使其能够根据生成的视频来执行相应的操作。该策略以生成的视频作为输入，输出机器人的动作序列。
关键创新：Gen2Act的关键创新在于利用人类视频生成模型来桥接语言指令和机器人动作，从而实现了零样本的机器人操作。与传统的机器人学习方法相比，Gen2Act不需要大量的机器人交互数据，而是利用了易于获取的网络视频数据。此外，Gen2Act不需要对视频生成模型进行微调，而是直接使用预训练的模型，降低了训练成本。
关键设计：Gen2Act的关键设计包括：1) 使用预训练的文本到视频生成模型，例如扩散模型，来生成高质量的人类视频。2) 设计一个以视频为条件的机器人策略，例如使用Transformer网络，来学习从视频到动作的映射。3) 使用模仿学习或强化学习来训练机器人策略，使其能够模仿人类在视频中的行为。
🖼️ 关键图片
📊 实验亮点
Gen2Act在真实世界的机器人操作任务中取得了显著的成果。实验结果表明，Gen2Act能够操作未见过的物体类型，并执行机器人数据中未包含的新运动。与传统的机器人学习方法相比，Gen2Act使用了一个数量级更少的机器人交互数据，并且不需要对视频生成模型进行微调。这些结果表明，Gen2Act是一种有效的机器人操作泛化方法。
🎯 应用场景
Gen2Act具有广泛的应用前景，例如在家庭服务、工业自动化、医疗保健等领域。它可以使机器人能够执行各种复杂的任务，而无需大量的机器人数据收集和训练。例如，机器人可以根据用户的语言指令，执行烹饪、清洁、组装等任务。此外，Gen2Act还可以用于开发更智能的机器人助手，帮助人们完成各种日常任务。
📄 摘要（原文）
How can robot manipulation policies generalize to novel tasks involving unseen object types and new motions? In this paper, we provide a solution in terms of predicting motion information from web data through human video generation and conditioning a robot policy on the generated video. Instead of attempting to scale robot data collection which is expensive, we show how we can leverage video generation models trained on easily available web data, for enabling generalization. Our approach Gen2Act casts language-conditioned manipulation as zero-shot human video generation followed by execution with a single policy conditioned on the generated video. To train the policy, we use an order of magnitude less robot interaction data compared to what the video prediction model was trained on. Gen2Act doesn't require fine-tuning the video model at all and we directly use a pre-trained model for generating human videos. Our results on diverse real-world scenarios show how Gen2Act enables manipulating unseen object types and performing novel motions for tasks not present in the robot data. Videos are at https://homangab.github.io/gen2act/