DexterityGen: Foundation Controller for Unprecedented Dexterity
作者: Zhao-Heng Yin, Changhao Wang, Luis Pineda, Francois Hogan, Krishna Bodduluri, Akash Sharma, Patrick Lancaster, Ishita Prasad, Mrinal Kalakrishnan, Jitendra Malik, Mike Lambeta, Tingfan Wu, Pieter Abbeel, Mustafa Mukadam
分类: cs.RO, cs.AI, cs.LG, eess.SY
发布日期: 2025-02-06
备注: Project: https://zhaohengyin.github.io/dexteritygen
💡 一句话要点
DexterityGen：用于前所未有灵巧性的基础控制器
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 灵巧操作 机器人控制 强化学习 人类遥操作 运动原语
📋 核心要点
- 现有机器人灵巧操作方法依赖人类遥操作或强化学习，前者缺乏触觉反馈，后者存在领域迁移和奖励工程难题。
- DexterityGen结合强化学习和人类遥操作，利用强化学习预训练运动原语，再通过人类遥操作提示生成灵巧行为。
- 实验表明DexGen显著提升了物体保持稳定性（10-100倍），并首次实现了多种物体重定向和工具使用等灵巧操作。
📝 摘要（中文）
教会机器人灵巧的操作技能，例如工具使用，是一个巨大的挑战。目前的方法大致可以分为两种策略：人类遥操作（用于模仿学习）和sim-to-real强化学习。第一种方法很困难，因为人类很难在没有触觉反馈的情况下，在不同的机器人形态上产生安全和灵巧的运动。第二种基于强化学习的方法在领域迁移方面存在困难，并且需要在复杂的任务上进行高度任务特定的奖励工程。我们的关键见解是，强化学习在学习低级运动原语方面是有效的，而人类擅长为复杂的、长时程任务提供粗略的运动命令。因此，最佳的解决方案可能是两种方法的结合。在本文中，我们介绍了DexterityGen (DexGen)，它使用强化学习来预训练大规模的灵巧运动原语，例如手内旋转或平移。然后，我们利用这个学习到的数据集来训练一个灵巧的基础控制器。在现实世界中，我们使用人类遥操作作为控制器的提示，以产生高度灵巧的行为。我们在仿真和现实世界中评估了DexGen的有效性，证明它是一个通用的控制器，可以实现输入的灵巧操作命令，并通过10-100倍地提高物体保持时间来显著提高各种任务的稳定性。值得注意的是，通过DexGen，我们首次展示了前所未有的灵巧技能，包括各种物体重新定向和灵巧的工具使用，如笔、注射器和螺丝刀。
🔬 方法详解
问题定义：现有机器人灵巧操作方法面临挑战。人类遥操作难以在不同机器人形态上产生安全运动，且缺乏触觉反馈。强化学习方法在复杂任务中需要精细的奖励函数设计，且存在从仿真到现实的领域迁移问题。因此，如何结合两者的优势，实现通用且高效的灵巧操作是本文要解决的核心问题。
核心思路：论文的核心思路是将强化学习和人类遥操作相结合。强化学习擅长学习低级别的运动原语，而人类擅长提供高层次的运动指令。通过强化学习预训练运动原语，然后利用人类遥操作作为提示，引导机器人完成复杂的灵巧操作任务。这种结合既避免了强化学习的奖励函数设计难题，又利用了人类的直觉和经验。
技术框架：DexterityGen的整体框架包含两个主要阶段：1) 运动原语预训练阶段：使用强化学习在仿真环境中训练一系列灵巧运动原语，例如手内旋转、平移等。这些运动原语构成了一个运动技能库。2) 基础控制器训练阶段：利用预训练的运动原语数据集，训练一个基础控制器。该控制器接收人类遥操作的提示，并根据提示从运动技能库中选择合适的运动原语，生成最终的机器人动作。在实际应用中，人类通过遥操作提供粗略的运动指令，基础控制器则负责将这些指令转化为精细的机器人动作。
关键创新：DexterityGen的关键创新在于其结合了强化学习和人类遥操作的优势，提出了一种新的灵巧操作控制框架。与传统的纯强化学习方法相比，DexGen避免了复杂的奖励函数设计和领域迁移问题。与纯人类遥操作方法相比，DexGen能够生成更加稳定和精确的机器人动作。此外，DexGen通过预训练运动原语，实现了运动技能的复用，提高了学习效率。
关键设计：在运动原语预训练阶段，使用了强化学习算法（具体算法未知）来训练运动原语。奖励函数的设计目标是使机器人能够完成特定的运动任务，例如手内旋转或平移。在基础控制器训练阶段，使用了监督学习算法（具体算法未知）来训练控制器。训练数据由人类遥操作的提示和对应的机器人动作组成。控制器的网络结构未知，但需要能够将人类的提示映射到合适的运动原语。关键参数包括强化学习的超参数、监督学习的超参数以及运动技能库的大小。
🖼️ 关键图片
📊 实验亮点
DexterityGen在仿真和真实环境中都取得了显著的成果。实验表明，DexGen能够显著提高物体保持的稳定性，提升幅度达到10-100倍。此外，DexGen首次实现了多种复杂的灵巧操作任务，例如物体重定向、使用笔、注射器和螺丝刀等工具。这些实验结果表明，DexGen是一个通用的灵巧操作控制器，具有很强的实用价值。
🎯 应用场景
DexterityGen具有广泛的应用前景，例如在制造业中用于自动化装配、在医疗领域用于辅助手术、在家庭服务中用于完成各种日常任务。该研究的实际价值在于降低了机器人灵巧操作的开发难度，提高了机器人的适应性和泛化能力。未来，DexterityGen有望成为通用机器人操作系统的核心组成部分，推动机器人技术在各个领域的应用。
📄 摘要（原文）
Teaching robots dexterous manipulation skills, such as tool use, presents a significant challenge. Current approaches can be broadly categorized into two strategies: human teleoperation (for imitation learning) and sim-to-real reinforcement learning. The first approach is difficult as it is hard for humans to produce safe and dexterous motions on a different embodiment without touch feedback. The second RL-based approach struggles with the domain gap and involves highly task-specific reward engineering on complex tasks. Our key insight is that RL is effective at learning low-level motion primitives, while humans excel at providing coarse motion commands for complex, long-horizon tasks. Therefore, the optimal solution might be a combination of both approaches. In this paper, we introduce DexterityGen (DexGen), which uses RL to pretrain large-scale dexterous motion primitives, such as in-hand rotation or translation. We then leverage this learned dataset to train a dexterous foundational controller. In the real world, we use human teleoperation as a prompt to the controller to produce highly dexterous behavior. We evaluate the effectiveness of DexGen in both simulation and real world, demonstrating that it is a general-purpose controller that can realize input dexterous manipulation commands and significantly improves stability by 10-100x measured as duration of holding objects across diverse tasks. Notably, with DexGen we demonstrate unprecedented dexterous skills including diverse object reorientation and dexterous tool use such as pen, syringe, and screwdriver for the first time.