$\mathcal{D(R,O)}$ Grasp: A Unified Representation of Robot and Object Interaction for Cross-Embodiment Dexterous Grasping

📄 arXiv: 2410.01702v4 📥 PDF

作者: Zhenyu Wei, Zhixuan Xu, Jingxiang Guo, Yiwen Hou, Chongkai Gao, Zhehao Cai, Jiayu Luo, Lin Shao

分类: cs.RO

发布日期: 2024-10-02 (更新: 2025-03-14)

备注: Accepted to the 2025 International Conference on Robotics and Automation (ICRA 2025). Project Website: https://nus-lins-lab.github.io/drograspweb/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出$ extmath{D(R,O)}$ Grasp以解决机器人灵巧抓取问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: 灵巧抓取 机器人手 物体交互 深度学习 点云处理 运动学 机器人技术

📋 核心要点

  1. 灵巧抓取的现有方法在不同机器人手和物体几何形状之间的泛化能力不足，导致抓取成功率低。
  2. 本文提出的$ extmath{D(R,O)}$ Grasp框架通过建模机器人手与物体的交互，提升了抓取的稳定性和有效性。
  3. 在模拟实验中，该方法的成功率达87.53%，在真实环境中使用LeapHand时成功率为89%，显示出显著的性能提升。

📝 摘要（中文）

灵巧抓取是机器人操作中的一项基本而具有挑战性的技能，要求机器人手与物体之间进行精确的交互。本文提出了$ extmath{D(R,O)}$ Grasp，一个新颖的框架，建模机器人手在抓取姿态与物体之间的交互，从而实现对各种机器人手和物体几何形状的广泛泛化。该模型以机器人手的描述和物体点云为输入，能够高效预测运动学有效且稳定的抓取，展现出对多样化机器人形态和物体几何的强适应性。通过在模拟和真实环境中的大量实验验证了我们方法的有效性，成功率、抓取多样性和推理速度均有显著提升。

🔬 方法详解

问题定义：本文旨在解决机器人灵巧抓取中存在的泛化能力不足的问题，现有方法在不同机器人手和物体几何形状之间的适应性较差，导致抓取成功率低下。

核心思路：提出$ extmath{D(R,O)}$ Grasp框架，通过建模机器人手的抓取姿态与物体之间的交互，来实现对多种机器人手和物体几何形状的广泛泛化，从而提高抓取的成功率和稳定性。

技术框架：该框架主要包括两个输入模块：机器人手的描述和物体的点云数据。通过这些输入，模型能够高效预测运动学有效且稳定的抓取姿态。

关键创新：最重要的技术创新在于提出了一种统一的交互表示方法，使得不同机器人手和物体几何形状之间的抓取能够实现有效的泛化，这与现有方法的局限性形成了鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来优化抓取的稳定性和有效性，同时在网络结构上进行了优化，以提高推理速度和抓取多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在模拟环境中，该方法的平均成功率达到87.53%，推理时间少于一秒；在真实环境中，使用LeapHand时成功率为89%。与基线方法相比，成功率和抓取多样性均有显著提升，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和医疗机器人等，能够在复杂和多变的环境中实现高效的物体抓取，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Dexterous grasping is a fundamental yet challenging skill in robotic manipulation, requiring precise interaction between robotic hands and objects. In this paper, we present $\mathcal{D(R,O)}$ Grasp, a novel framework that models the interaction between the robotic hand in its grasping pose and the object, enabling broad generalization across various robot hands and object geometries. Our model takes the robot hand's description and object point cloud as inputs and efficiently predicts kinematically valid and stable grasps, demonstrating strong adaptability to diverse robot embodiments and object geometries. Extensive experiments conducted in both simulated and real-world environments validate the effectiveness of our approach, with significant improvements in success rate, grasp diversity, and inference speed across multiple robotic hands. Our method achieves an average success rate of 87.53% in simulation in less than one second, tested across three different dexterous robotic hands. In real-world experiments using the LeapHand, the method also demonstrates an average success rate of 89%. $\mathcal{D(R,O)}$ Grasp provides a robust solution for dexterous grasping in complex and varied environments. The code, appendix, and videos are available on our project website at https://nus-lins-lab.github.io/drograspweb/.