DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning
作者: Zhenyu Jiang, Yuqi Xie, Kevin Lin, Zhenjia Xu, Weikang Wan, Ajay Mandlekar, Linxi Fan, Yuke Zhu
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2024-10-31 (更新: 2025-03-06)
备注: ICRA 2025. Project website: https://dexmimicgen.github.io/
💡 一句话要点
DexMimicGen：通过模仿学习自动生成双臂灵巧操作数据，解决数据获取瓶颈。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 双臂灵巧操作 模仿学习 数据生成 类人机器人 自动化 模拟环境 Real-to-Sim
📋 核心要点
- 模仿学习是教机器人操作技能的有效方法，但数据获取成本高昂，限制了其广泛应用，尤其是在双臂灵巧机器人领域。
- DexMimicGen通过模仿学习，从少量人类演示中自动生成大量模拟数据，降低了数据获取成本，提升了数据规模。
- 实验表明，使用DexMimicGen生成的数据训练的智能体，能够在模拟和真实环境中完成复杂的双臂灵巧操作任务，例如物品分拣。
📝 摘要（中文）
本文提出DexMimicGen，一个大规模自动化数据生成系统，旨在为具有灵巧手的类人机器人合成轨迹，仅需少量人类演示。该系统针对双臂灵巧操作，构建了一系列模拟环境，涵盖多种操作行为和双臂协调需求。研究者仅使用60个源人类演示，便生成了超过21K个演示数据，并研究了数据生成和策略学习决策对智能体性能的影响。最后，论文提出了一个real-to-sim-to-real的流程，并在真实的类人机器人分拣任务中进行了部署。生成的数据集、模拟环境和更多结果可在项目网站上找到。
🔬 方法详解
问题定义：现有双臂灵巧操作的模仿学习方法面临数据获取的巨大挑战。人工示教成本高、耗时，难以扩展到复杂任务和大规模数据需求。因此，如何低成本、高效地生成高质量的训练数据是关键问题。
核心思路：论文的核心思路是利用少量人类演示，通过自动化数据生成技术，在模拟环境中合成大量多样化的训练数据。这种方法旨在降低对大量人工示教的依赖，提高数据生成效率，并为模仿学习提供充足的数据支持。
技术框架：DexMimicGen系统包含以下主要模块：1) 人类演示数据采集模块：采集少量人类双臂灵巧操作的演示数据。2) 轨迹生成模块：基于人类演示，通过算法生成新的轨迹，增加数据的多样性。3) 模拟环境模块：构建包含各种双臂灵巧操作任务的模拟环境。4) 策略学习模块：利用生成的数据训练机器人控制策略。5) Real-to-Sim-to-Real迁移模块：将模拟环境中训练的策略迁移到真实机器人上。
关键创新：该论文的关键创新在于提出了一个完整的自动化数据生成流程，能够从少量人类演示中生成大量高质量的模拟数据，用于训练双臂灵巧机器人的控制策略。与传统方法相比，该方法显著降低了数据获取成本，提高了数据生成效率。
关键设计：轨迹生成模块可能采用了例如轨迹插值、运动学重定向、噪声添加等技术来增加数据的多样性。策略学习模块可能使用了例如行为克隆、Dagger等模仿学习算法。Real-to-Sim-to-Real迁移模块可能使用了例如域随机化、对抗训练等技术来减小模拟环境和真实环境之间的差距。具体的参数设置、损失函数和网络结构等细节在论文中可能有所描述，但此处无法得知。
📊 实验亮点
实验结果表明，使用DexMimicGen生成的数据训练的智能体，在模拟环境中表现出良好的双臂灵巧操作能力。更重要的是，通过real-to-sim-to-real的迁移，该智能体成功地在真实机器人上完成了物品分拣任务，验证了该方法的有效性和泛化能力。具体性能数据和对比基线未知。
🎯 应用场景
该研究成果可广泛应用于需要双臂灵巧操作的机器人应用场景，例如：工业自动化中的精密装配、医疗手术机器人辅助、家庭服务机器人等。通过降低数据获取成本，加速了双臂灵巧机器人的研发和部署，具有重要的实际应用价值和未来发展潜力。
📄 摘要（原文）
Imitation learning from human demonstrations is an effective means to teach robots manipulation skills. But data acquisition is a major bottleneck in applying this paradigm more broadly, due to the amount of cost and human effort involved. There has been significant interest in imitation learning for bimanual dexterous robots, like humanoids. Unfortunately, data collection is even more challenging here due to the challenges of simultaneously controlling multiple arms and multi-fingered hands. Automated data generation in simulation is a compelling, scalable alternative to fuel this need for data. To this end, we introduce DexMimicGen, a large-scale automated data generation system that synthesizes trajectories from a handful of human demonstrations for humanoid robots with dexterous hands. We present a collection of simulation environments in the setting of bimanual dexterous manipulation, spanning a range of manipulation behaviors and different requirements for coordination among the two arms. We generate 21K demos across these tasks from just 60 source human demos and study the effect of several data generation and policy learning decisions on agent performance. Finally, we present a real-to-sim-to-real pipeline and deploy it on a real-world humanoid can sorting task. Generated datasets, simulation environments and additional results are at https://dexmimicgen.github.io/