GenSim: Generating Robotic Simulation Tasks via Large Language Models

📄 arXiv: 2310.01361v2 📥 PDF

作者: Lirui Wang, Yiyang Ling, Zhecheng Yuan, Mohit Shridhar, Chen Bao, Yuzhe Qin, Bailin Wang, Huazhe Xu, Xiaolong Wang

分类: cs.LG, cs.CL, cs.CV, cs.RO

发布日期: 2023-10-02 (更新: 2024-01-21)

备注: See our project website (https://liruiw.github.io/gensim), demo and datasets (https://huggingface.co/spaces/Gen-Sim/Gen-Sim), and code (https://github.com/liruiw/GenSim) for more details

期刊: International Conference on Learning Representations (ICLR), 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GenSim以解决机器人任务生成的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人任务生成 大型语言模型 模拟环境 任务级别泛化 多任务策略训练

📋 核心要点

  1. 现有方法主要关注场景级别的多样性，缺乏有效的任务级别生成，限制了机器人策略的泛化能力。
  2. 本文提出GenSim，通过大型语言模型自动生成任务和模拟环境，解决了任务生成的复杂性和人力成本问题。
  3. 实验结果表明，使用LLM生成的模拟程序在多任务策略训练中显著提升了任务级别的泛化能力，且在真实世界任务中表现优异。

📝 摘要（中文）

收集大量真实世界交互数据以训练通用机器人策略通常成本高昂，因此需要使用模拟数据。然而，现有的数据生成方法主要集中在场景级别的多样性，而非任务级别的多样性，导致基于模拟数据训练的策略在任务级别的泛化能力不足。本文提出了一种利用大型语言模型（LLM）生成丰富模拟环境和专家演示的自动化方法，称为GenSim。该方法包括目标导向生成和探索性生成两种模式，能够显著提升任务级别的泛化能力，并在多任务策略训练中表现出色。

🔬 方法详解

问题定义：本文旨在解决现有机器人任务生成方法在任务级别多样性不足的问题。现有方法往往依赖人工设计任务，导致生成效率低下且难以验证新任务的有效性。

核心思路：论文提出的GenSim方法利用大型语言模型的编码和生成能力，自动生成丰富的模拟环境和任务，旨在降低人力成本并提高任务多样性。

技术框架：GenSim包括两个主要模块：目标导向生成和探索性生成。目标导向生成根据给定任务生成相应的任务课程，而探索性生成则从已有任务出发，迭代提出新任务以解决更复杂的目标。

关键创新：GenSim的创新在于将大型语言模型应用于机器人任务生成，显著提高了任务生成的效率和多样性，与传统方法相比，能够自动化生成更多新颖的任务。

关键设计：在实验中，使用GPT-4扩展了现有基准任务集，生成超过100个任务，并对多种LLM进行微调评估。关键参数设置包括任务生成的多样性和复杂性控制，以确保生成任务的有效性和实用性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，使用LLM生成的模拟任务在多任务策略训练中显著提升了任务级别的泛化能力，且在真实世界的长时间任务中，预训练的多任务策略相比基线提高了25%的性能，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人训练、自动化任务生成和人机交互等。通过自动生成多样化的任务，GenSim能够帮助机器人在复杂环境中更好地学习和适应，提升其在实际应用中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Collecting large amounts of real-world interaction data to train general robotic policies is often prohibitively expensive, thus motivating the use of simulation data. However, existing methods for data generation have generally focused on scene-level diversity (e.g., object instances and poses) rather than task-level diversity, due to the human effort required to come up with and verify novel tasks. This has made it challenging for policies trained on simulation data to demonstrate significant task-level generalization. In this paper, we propose to automatically generate rich simulation environments and expert demonstrations by exploiting a large language models' (LLM) grounding and coding ability. Our approach, dubbed GenSim, has two modes: goal-directed generation, wherein a target task is given to the LLM and the LLM proposes a task curriculum to solve the target task, and exploratory generation, wherein the LLM bootstraps from previous tasks and iteratively proposes novel tasks that would be helpful in solving more complex tasks. We use GPT4 to expand the existing benchmark by ten times to over 100 tasks, on which we conduct supervised finetuning and evaluate several LLMs including finetuned GPTs and Code Llama on code generation for robotic simulation tasks. Furthermore, we observe that LLMs-generated simulation programs can enhance task-level generalization significantly when used for multitask policy training. We further find that with minimal sim-to-real adaptation, the multitask policies pretrained on GPT4-generated simulation tasks exhibit stronger transfer to unseen long-horizon tasks in the real world and outperform baselines by 25%. See the project website (https://liruiw.github.io/gensim) for code, demos, and videos.