DemoStart: Demonstration-led auto-curriculum applied to sim-to-real with multi-fingered robots

📄 arXiv: 2409.06613v2 📥 PDF

作者: Maria Bauza, Jose Enrique Chen, Valentin Dalibard, Nimrod Gileadi, Roland Hafner, Murilo F. Martins, Joss Moore, Rugile Pevceviciute, Antoine Laurens, Dushyant Rao, Martina Zambelli, Martin Riedmiller, Jon Scholz, Konstantinos Bousmalis, Francesco Nori, Nicolas Heess

分类: cs.RO, cs.LG

发布日期: 2024-09-10 (更新: 2024-09-12)

备注: 15 pages total with 7 pages of appendix. 9 Figures, 4 in the main text and 5 in the appendix

💡 一句话要点

DemoStart：基于演示的自动课程学习，应用于多指机器人模拟到真实环境迁移

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自动课程学习 模拟到真实 多指机器人 操作任务 演示学习 领域随机化

📋 核心要点

  1. 现有方法在多指机器人操作任务中，需要大量的真实数据或复杂的奖励函数设计，限制了其应用。
  2. DemoStart利用少量模拟演示引导自动课程学习，结合领域随机化实现策略从模拟到真实的零样本迁移。
  3. 实验表明，该方法优于直接从真实机器人演示学习的策略，且所需演示数据量减少了两个数量级。

📝 摘要（中文）

本文提出了一种名为DemoStart的自动课程强化学习方法，该方法仅需少量模拟环境中的演示和稀疏奖励，即可学习配备三指机械手的机械臂上的复杂操作行为。通过模拟学习能够显著缩短行为生成的开发周期，并利用领域随机化技术实现成功的零样本模拟到真实环境的迁移。迁移后的策略直接从多个摄像头的原始像素和机器人本体感受中学习。我们的方法优于从真实机器人演示中学习的策略，并且所需的演示次数减少了100倍。更多细节和视频请访问https://sites.google.com/view/demostart。

🔬 方法详解

问题定义：论文旨在解决多指机器人操作任务中，强化学习训练样本需求量大，真实环境数据采集成本高昂的问题。现有方法要么依赖大量的真实数据，要么需要精心设计的奖励函数，难以泛化到复杂的操作任务中。

核心思路：DemoStart的核心在于利用少量高质量的模拟环境演示数据，引导强化学习的自动课程生成。通过模仿学习初始化策略，并利用自动课程学习逐步提升策略的复杂度和泛化能力，最终实现零样本的模拟到真实环境迁移。

技术框架：DemoStart包含以下主要模块：1) 演示数据收集：在模拟环境中收集少量高质量的操作演示数据。2) 模仿学习：利用演示数据初始化强化学习策略。3) 自动课程学习：设计自动课程生成机制，逐步增加任务的难度和多样性，引导策略探索和学习。4) 领域随机化：在模拟环境中引入领域随机化，提高策略对真实环境的鲁棒性。5) 零样本迁移：将训练好的策略直接部署到真实机器人上，无需任何真实环境的微调。

关键创新：DemoStart的关键创新在于将演示学习与自动课程学习相结合，利用少量演示数据引导课程生成，从而显著降低了强化学习对数据量的需求。此外，该方法实现了零样本的模拟到真实环境迁移，避免了在真实环境中进行昂贵的策略训练或微调。

关键设计：论文中，自动课程学习的具体实现方式未知，但可以推测可能涉及任务参数的动态调整、奖励函数的塑造等技术。领域随机化方面，可能对机器人动力学参数、环境光照、物体材质等进行随机化。损失函数方面，可能采用模仿学习损失和强化学习奖励的加权组合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DemoStart方法在多指机器人操作任务中，优于直接从真实机器人演示学习的策略，并且所需的演示次数减少了100倍。该方法成功实现了零样本的模拟到真实环境迁移，验证了其在复杂操作任务中的有效性和泛化能力。

🎯 应用场景

DemoStart方法具有广泛的应用前景，可用于各种复杂操作任务，如物体抓取、装配、操作工具等。该方法能够显著降低机器人学习的成本和周期，加速机器人在工业自动化、医疗康复、家庭服务等领域的应用。

📄 摘要（原文）

We present DemoStart, a novel auto-curriculum reinforcement learning method capable of learning complex manipulation behaviors on an arm equipped with a three-fingered robotic hand, from only a sparse reward and a handful of demonstrations in simulation. Learning from simulation drastically reduces the development cycle of behavior generation, and domain randomization techniques are leveraged to achieve successful zero-shot sim-to-real transfer. Transferred policies are learned directly from raw pixels from multiple cameras and robot proprioception. Our approach outperforms policies learned from demonstrations on the real robot and requires 100 times fewer demonstrations, collected in simulation. More details and videos in https://sites.google.com/view/demostart.