Efficient Residual Learning with Mixture-of-Experts for Universal Dexterous Grasping

📄 arXiv: 2410.02475v1 📥 PDF

作者: Ziye Huang, Haoqi Yuan, Yuhui Fu, Zongqing Lu

分类: cs.RO, cs.LG

发布日期: 2024-10-03

💡 一句话要点

ResDex：结合混合专家模型的残差学习提升通用灵巧抓取效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 灵巧抓取 强化学习 混合专家模型 残差学习 机器人操作

📋 核心要点

  1. 现有强化学习方法在通用灵巧抓取中，面临着复杂课程设计和对未见物体泛化能力不足的挑战。
  2. ResDex通过结合残差策略学习和混合专家模型，利用几何无关的基础策略实现高效泛化。
  3. 实验表明，ResDex在DexGraspNet数据集上取得了88.8%的成功率，且训练效率显著提升。

📝 摘要（中文）

在机器人学习中，对各种物体进行通用灵巧抓取是一个基础但极具挑战性的问题。现有方法通常使用强化学习在大规模物体数据集上训练策略，但面临多任务学习中复杂的课程设计以及对未见物体的泛化能力有限等关键问题。为了克服这些挑战，我们提出了一种名为ResDex的新方法，它将残差策略学习与混合专家（MoE）框架相结合。ResDex的特点是使用几何无关的基础策略，这些策略可以在单个物体上高效学习，并能够泛化到各种未见物体。我们的MoE框架包含多个基础策略，以适应各种物体的不同抓取风格。通过学习残差动作以及组合这些基础策略的权重，ResDex实现了高效的多任务强化学习，用于通用灵巧抓取。ResDex在包含3200个物体的DexGraspNet数据集上实现了最先进的性能，成功率为88.8%。它在未见物体上没有泛化差距，并表现出卓越的训练效率，仅用单个GPU在12小时内掌握所有任务。

🔬 方法详解

问题定义：论文旨在解决通用灵巧抓取任务中，现有强化学习方法泛化能力差和训练效率低的问题。现有方法需要针对每个物体进行单独训练，或者设计复杂的课程学习策略，难以泛化到未见物体，且训练时间长，计算资源消耗大。

核心思路：论文的核心思路是利用混合专家模型（MoE）来组合多个几何无关的基础抓取策略，并通过残差学习来微调这些策略，从而实现对各种物体的通用抓取。这种方法避免了直接学习复杂的抓取策略，而是学习如何组合和微调已有的简单策略，从而提高了泛化能力和训练效率。

技术框架：ResDex的整体框架包括三个主要部分：1）多个几何无关的基础策略，每个策略都在单个或少量物体上进行训练；2）一个混合专家模型，用于学习如何根据当前物体的状态选择和组合这些基础策略；3）一个残差学习模块，用于学习对基础策略输出的动作进行微调，以适应不同的物体和抓取情况。整个框架通过强化学习进行端到端训练。

关键创新：ResDex的关键创新在于将残差学习与混合专家模型相结合，用于通用灵巧抓取。与现有方法相比，ResDex不需要复杂的课程设计，并且能够利用几何无关的基础策略实现高效的泛化。此外，残差学习使得策略能够快速适应新的物体和抓取情况。

关键设计：ResDex的关键设计包括：1）使用几何无关的特征作为混合专家模型的输入，例如物体的位置、姿态和形状描述符；2）设计合适的奖励函数，鼓励策略成功抓取物体并保持稳定；3）使用Actor-Critic算法进行强化学习训练，其中Actor网络输出动作和混合专家模型的权重，Critic网络评估当前状态的价值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ResDex在DexGraspNet数据集上取得了88.8%的抓取成功率，显著优于现有方法。更重要的是，ResDex在未见物体上没有泛化差距，表明其具有很强的通用性。此外，ResDex的训练效率非常高，仅用单个GPU在12小时内就完成了所有任务的训练，这大大降低了训练成本和时间。

🎯 应用场景

ResDex在工业自动化、家庭服务机器人等领域具有广泛的应用前景。它可以使机器人能够灵活地抓取各种形状和大小的物体，从而提高生产效率和服务质量。例如，在电商仓库中，机器人可以使用ResDex来拣选和放置商品；在家庭环境中，机器人可以使用ResDex来帮助人们完成各种家务任务。未来，ResDex可以进一步扩展到更复杂的操作任务，例如装配和维修。

📄 摘要（原文）

Universal dexterous grasping across diverse objects presents a fundamental yet formidable challenge in robot learning. Existing approaches using reinforcement learning (RL) to develop policies on extensive object datasets face critical limitations, including complex curriculum design for multi-task learning and limited generalization to unseen objects. To overcome these challenges, we introduce ResDex, a novel approach that integrates residual policy learning with a mixture-of-experts (MoE) framework. ResDex is distinguished by its use of geometry-unaware base policies that are efficiently acquired on individual objects and capable of generalizing across a wide range of unseen objects. Our MoE framework incorporates several base policies to facilitate diverse grasping styles suitable for various objects. By learning residual actions alongside weights that combine these base policies, ResDex enables efficient multi-task RL for universal dexterous grasping. ResDex achieves state-of-the-art performance on the DexGraspNet dataset comprising 3,200 objects with an 88.8% success rate. It exhibits no generalization gap with unseen objects and demonstrates superior training efficiency, mastering all tasks within only 12 hours on a single GPU.