GenSim2: Scaling Robot Data Generation with Multi-modal and Reasoning LLMs

📄 arXiv: 2410.03645v1 📥 PDF

作者: Pu Hua, Minghuan Liu, Annabella Macaluso, Yunfeng Lin, Weinan Zhang, Huazhe Xu, Lirui Wang

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2024-10-04

备注: CoRL 2024. Project website: https://gensim2.github.io/

💡 一句话要点

GenSim2：利用多模态推理LLM扩展机器人数据生成，实现零样本迁移。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人仿真 数据生成 大型语言模型 多模态学习 零样本迁移

📋 核心要点

  1. 机器人仿真的扩展性受限于创建多样化任务和场景所需的人工成本，且现有sim-to-real方法通常针对单一任务。
  2. GenSim2利用编码LLM自动生成复杂模拟任务和演示数据，并提出在对象类别内泛化的规划和RL求解器。
  3. 实验表明，GenSim2生成的数据可用于零样本迁移或与真实数据共同训练，策略性能提升20%。

📝 摘要（中文）

本文提出了GenSim2，一个可扩展的框架，利用具备多模态和推理能力的编码LLM来创建复杂且真实的模拟任务，包括具有铰接对象的长时程任务。为了大规模自动生成这些任务的演示数据，我们提出了在对象类别内泛化的规划和RL求解器。该流程可以为多达100个铰接任务和200个对象生成数据，并减少所需的人工工作量。为了利用这些数据，我们提出了一种有效的多任务语言条件策略架构，称为本体感受点云Transformer（PPT），它可以从生成的演示中学习，并表现出强大的sim-to-real零样本迁移能力。结合所提出的流程和策略架构，我们展示了GenSim2的一个有前景的用法，即生成的数据可以用于零样本迁移或与真实世界收集的数据共同训练，与仅在有限的真实数据上训练相比，这可以将策略性能提高20%。

🔬 方法详解

问题定义：现有机器人仿真任务的数据生成依赖大量人工设计，成本高昂且难以扩展。同时，仿真训练的策略在迁移到真实世界时，由于任务和环境的差异，往往表现不佳，尤其是在处理具有铰接对象的复杂长时程任务时，问题更为突出。

核心思路：GenSim2的核心在于利用大型语言模型（LLM）的编码、多模态理解和推理能力，自动生成多样化的仿真任务和对应的演示数据。通过在对象类别内泛化的规划和强化学习求解器，实现大规模的数据生成，从而降低人工成本，并提升策略的泛化能力。

技术框架：GenSim2包含以下几个主要模块：1) 任务生成模块：利用LLM根据给定的场景描述和任务目标，自动生成仿真任务的配置，包括对象的种类、数量、初始位置和目标状态等。2) 演示数据生成模块：针对生成的任务，使用规划或强化学习算法自动生成演示数据，这些算法被设计为在同一对象类别内泛化，从而提高数据的多样性。3) 策略学习模块：使用生成的数据训练一个多任务语言条件策略，该策略采用本体感受点云Transformer（PPT）架构，能够从原始的传感器数据中学习，并具备较强的泛化能力。

关键创新：GenSim2的关键创新在于将LLM引入到机器人仿真任务的数据生成过程中，实现了任务和数据的自动生成，极大地降低了人工成本。此外，提出的在对象类别内泛化的规划和强化学习求解器，以及PPT策略架构，都为提高策略的泛化能力做出了贡献。

关键设计：PPT策略架构使用Transformer网络处理本体感受信息（如关节角度、速度）和点云数据，并通过语言条件输入来指导策略的学习。损失函数包括模仿学习损失和强化学习损失，用于鼓励策略学习模仿演示数据，并在真实环境中进行探索。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

GenSim2能够为多达100个铰接任务和200个对象生成数据，显著减少人工工作量。实验结果表明，使用GenSim2生成的数据进行训练，可以实现sim-to-real零样本迁移，并且与仅在有限的真实数据上训练相比，策略性能可以提高20%。

🎯 应用场景

GenSim2可应用于各种机器人任务的仿真训练，例如操作、导航和装配等。通过自动生成大量多样化的训练数据，可以显著降低机器人开发的成本和时间，并提高机器人在真实世界中的适应性和鲁棒性。该研究对于推动机器人技术的普及和应用具有重要意义。

📄 摘要（原文）

Robotic simulation today remains challenging to scale up due to the human efforts required to create diverse simulation tasks and scenes. Simulation-trained policies also face scalability issues as many sim-to-real methods focus on a single task. To address these challenges, this work proposes GenSim2, a scalable framework that leverages coding LLMs with multi-modal and reasoning capabilities for complex and realistic simulation task creation, including long-horizon tasks with articulated objects. To automatically generate demonstration data for these tasks at scale, we propose planning and RL solvers that generalize within object categories. The pipeline can generate data for up to 100 articulated tasks with 200 objects and reduce the required human efforts. To utilize such data, we propose an effective multi-task language-conditioned policy architecture, dubbed proprioceptive point-cloud transformer (PPT), that learns from the generated demonstrations and exhibits strong sim-to-real zero-shot transfer. Combining the proposed pipeline and the policy architecture, we show a promising usage of GenSim2 that the generated data can be used for zero-shot transfer or co-train with real-world collected data, which enhances the policy performance by 20% compared with training exclusively on limited real data.