AnyDexGrasp: General Dexterous Grasping for Different Hands with Human-level Learning Efficiency

📄 arXiv: 2502.16420v1 📥 PDF

作者: Hao-Shu Fang, Hengxu Yan, Zhenyu Tang, Hongjie Fang, Chenxi Wang, Cewu Lu

分类: cs.RO, cs.CV

发布日期: 2025-02-23

备注: Project website: https://graspnet.net/anydexgrasp/

💡 一句话要点

AnyDexGrasp：面向不同机械手的通用灵巧抓取，实现人类水平的学习效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 灵巧抓取 机器人操作 深度学习 通用抓取表示 机械手自适应

📋 核心要点

  1. 现有灵巧抓取方法需要大量特定机械手的抓取数据，训练成本高昂且泛化性差。
  2. 该方法提出一种两阶段解耦策略，先学习通用的接触表示，再为每个机械手学习独立的抓取决策模型。
  3. 实验表明，该方法仅需少量数据即可在多种机械手上实现高成功率的灵巧抓取，并具有良好的泛化能力。

📝 摘要（中文）

本文提出了一种高效的灵巧抓取学习方法，旨在以最少的数据提升不同机械手的机器人操作能力。与传统方法为每个机械手需要数百万个抓取标签不同，我们的方法仅需在40个训练对象上进行数百次抓取尝试，即可达到人类水平的学习效率并实现高性能。该方法将抓取过程分为两个阶段：首先，一个通用模型将场景几何信息映射到中间的、以接触为中心的抓取表示，该表示独立于特定的机械手。然后，通过真实世界的反复试验，为每个机械手训练一个独特的抓取决策模型，将这些表示转换为最终的抓取姿势。结果表明，在包含150多个新颖对象的真实世界杂乱环境中，三种不同机械手的抓取成功率达到75-95%，随着训练对象数量的增加，成功率提高到80-98%。这种适应性强的方法在人形机器人、假肢以及其他需要鲁棒、通用的机器人操作的领域具有广阔的应用前景。

🔬 方法详解

问题定义：现有灵巧抓取方法通常需要针对每种机械手收集大量的抓取数据进行训练，这导致训练成本高昂，且模型难以泛化到新的机械手或场景。痛点在于数据效率低，需要大量标注数据，且模型缺乏通用性，难以迁移到不同的机械手上。

核心思路：论文的核心思路是将抓取过程解耦为两个阶段：首先学习一个通用的、与机械手无关的抓取表示，然后针对每种机械手学习一个特定的抓取决策模型。这样可以利用少量数据快速适应新的机械手，提高学习效率和泛化能力。这种解耦的思想降低了问题的复杂度，使得模型更容易学习和泛化。

技术框架：整体框架包含两个主要模块：1) 通用抓取表示学习模块：该模块输入场景几何信息（例如点云），输出以接触为中心的中间抓取表示。这个表示独立于具体的机械手，描述了抓取点的位置、方向等信息。2) 机械手特定抓取决策模块：该模块输入通用抓取表示，输出最终的机械手抓取姿势。每个机械手都有一个独立的抓取决策模型，通过真实世界的试验进行训练。

关键创新：最重要的技术创新点在于将抓取过程解耦为通用表示学习和机械手特定决策两个阶段。与端到端训练方法相比，这种解耦方法可以显著提高数据效率和泛化能力。通用表示学习使得模型可以学习到与机械手无关的抓取知识，而机械手特定决策模块则可以利用少量数据快速适应新的机械手。

关键设计：通用抓取表示学习模块使用深度神经网络进行训练，损失函数的设计旨在鼓励模型学习到鲁棒的、与机械手无关的抓取表示。机械手特定抓取决策模块也使用深度神经网络进行训练，损失函数的设计旨在最大化抓取成功率。关键参数包括网络结构、学习率、优化器等。具体网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在三种不同的机械手上进行了实验，结果表明，在包含150多个新颖对象的真实世界杂乱环境中，抓取成功率达到75-95%。随着训练对象数量的增加，成功率提高到80-98%。与需要大量数据的传统方法相比，该方法仅需在40个训练对象上进行数百次抓取尝试即可达到高性能，显著提高了数据效率。

🎯 应用场景

该研究成果可广泛应用于人形机器人、假肢、工业自动化等领域。在人形机器人领域，可以提高机器人的操作能力，使其能够完成更复杂的任务。在假肢领域，可以帮助残疾人更好地控制假肢，提高生活质量。在工业自动化领域，可以提高生产效率，降低成本。未来，该方法有望进一步推广到更多类型的机器人和操作任务中。

📄 摘要（原文）

We introduce an efficient approach for learning dexterous grasping with minimal data, advancing robotic manipulation capabilities across different robotic hands. Unlike traditional methods that require millions of grasp labels for each robotic hand, our method achieves high performance with human-level learning efficiency: only hundreds of grasp attempts on 40 training objects. The approach separates the grasping process into two stages: first, a universal model maps scene geometry to intermediate contact-centric grasp representations, independent of specific robotic hands. Next, a unique grasp decision model is trained for each robotic hand through real-world trial and error, translating these representations into final grasp poses. Our results show a grasp success rate of 75-95\% across three different robotic hands in real-world cluttered environments with over 150 novel objects, improving to 80-98\% with increased training objects. This adaptable method demonstrates promising applications for humanoid robots, prosthetics, and other domains requiring robust, versatile robotic manipulation.