GES-UniGrasp: A Two-Stage Dexterous Grasping Strategy With Geometry-Based Expert Selection
作者: Fangting Xu, Jilin Zhu, Xiaoming Gu, Jianzhong Tang
分类: cs.RO
发布日期: 2025-09-28
💡 一句话要点
GES-UniGrasp：基于几何专家选择的两阶段灵巧抓取策略
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 灵巧抓取 机器人操作 几何聚类 专家系统 强化学习
📋 核心要点
- 现有强化学习方法在灵巧抓取中存在不足，抓取行为不够自然，难以适应复杂环境。
- 提出基于几何专家选择（GES）的两阶段抓取框架，提升对不同形状物体的适应性和泛化能力。
- 构建ContactGrasp数据集，包含大量物体和抓取姿势，实验结果表明该方法具有较高的抓取成功率。
📝 摘要（中文）
为了提升智能机器人在真实场景中的灵巧操作能力，本文提出了一种稳健且拟人的通用物体灵巧抓取方法。现有基于抓取先验的强化学习方法常导致不自然的抓取行为。为此，我们构建了一个名为ContactGrasp的机器人灵巧预抓取和抓取数据集，该数据集显式地考虑了任务相关的腕部方向和拇指-食指捏合协调。该数据集涵盖了82个类别中的773个对象，为训练类人抓取策略提供了丰富的基础。在此数据集的基础上，我们执行基于几何的聚类，按形状对对象进行分组，从而实现了一个两阶段的基于几何的专家选择（GES）框架，该框架在专门的专家之间进行选择，以抓取不同的对象几何形状，从而增强了对不同形状的适应性和跨类别的泛化能力。我们的方法展示了自然的抓取姿势，并在训练集和测试集上分别实现了99.4％和96.3％的高成功率，展示了强大的泛化能力和高质量的抓取执行。
🔬 方法详解
问题定义：现有基于强化学习的灵巧抓取方法，虽然可以学习到一些抓取策略，但往往依赖于大量的试错，并且学习到的抓取姿势不够自然，难以泛化到新的物体和场景中。此外，现有方法很少显式地考虑任务相关的腕部方向和拇指-食指捏合协调，导致抓取质量不高。
核心思路：本文的核心思路是利用物体的几何形状信息来指导抓取策略的选择。通过将物体按照几何形状进行聚类，为每一类物体训练一个专门的抓取专家。在实际抓取时，首先根据物体的几何形状选择合适的专家，然后由该专家执行抓取操作。这样可以有效地利用物体的几何信息，提高抓取的成功率和自然性。
技术框架：该方法采用两阶段的GES框架。第一阶段是几何聚类阶段，利用几何特征对物体进行聚类，得到若干个物体类别。第二阶段是专家选择和抓取执行阶段，首先根据待抓取物体的几何特征选择对应的专家，然后由该专家执行抓取操作。ContactGrasp数据集用于训练和评估抓取策略。
关键创新：该方法的主要创新点在于提出了基于几何专家选择的抓取策略。通过将物体按照几何形状进行聚类，并为每一类物体训练一个专门的抓取专家，可以有效地利用物体的几何信息，提高抓取的成功率和自然性。此外，ContactGrasp数据集的构建也为灵巧抓取的研究提供了新的数据基础。
关键设计：几何聚类采用k-means算法，特征包括点云的形状描述子。专家网络采用深度神经网络，输入为物体的点云和抓取姿势，输出为抓取成功的概率。损失函数采用交叉熵损失函数，优化目标是最大化抓取成功的概率。ContactGrasp数据集包含773个物体，82个类别，每个物体包含多个抓取姿势，并标注了抓取是否成功。
🖼️ 关键图片
📊 实验亮点
该方法在ContactGrasp数据集上进行了评估，结果表明该方法具有较高的抓取成功率。在训练集上达到了99.4%的成功率，在测试集上达到了96.3%的成功率。与现有的基于强化学习的方法相比，该方法在抓取成功率和抓取姿势的自然性方面都有显著提升。实验结果表明，该方法具有较强的泛化能力和鲁棒性。
🎯 应用场景
该研究成果可应用于智能制造、仓储物流、家庭服务等领域。例如，在智能制造中，机器人可以利用该方法抓取不同形状的零件进行组装；在仓储物流中，机器人可以利用该方法抓取不同形状的货物进行分拣；在家庭服务中，机器人可以利用该方法抓取不同形状的物品为人类提供帮助。该研究有助于提升机器人的操作能力和智能化水平，具有重要的实际应用价值。
📄 摘要（原文）
Robust and human-like dexterous grasping of general objects is a critical capability for advancing intelligent robotic manipulation in real-world scenarios. However, existing reinforcement learning methods guided by grasp priors often result in unnatural behaviors. In this work, we present \textit{ContactGrasp}, a robotic dexterous pre-grasp and grasp dataset that explicitly accounts for task-relevant wrist orientation and thumb-index pinching coordination. The dataset covers 773 objects in 82 categories, providing a rich foundation for training human-like grasp strategies. Building upon this dataset, we perform geometry-based clustering to group objects by shape, enabling a two-stage Geometry-based Expert Selection (GES) framework that selects among specialized experts for grasping diverse object geometries, thereby enhancing adaptability to diverse shapes and generalization across categories. Our approach demonstrates natural grasp postures and achieves high success rates of 99.4\% and 96.3\% on the train and test sets, respectively, showcasing strong generalization and high-quality grasp execution.