Sequential Multi-Object Grasping with One Dexterous Hand
作者: Sicheng He, Zeyu Shangguan, Kuanning Wang, Yongchong Gu, Yuqian Fu, Yanwei Fu, Daniel Seita
分类: cs.RO
发布日期: 2025-03-12 (更新: 2025-08-02)
备注: Project Page: https://hesic73.github.io/SeqMultiGrasp/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
SeqMultiGrasp：提出一种基于扩散模型的四指灵巧手连续抓取多物体系统
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 多物体抓取 灵巧手 扩散模型 机器人操作 抓取规划
📋 核心要点
- 现有方法难以处理物体几何形状的多样性和高自由度机械手抓取时的复杂接触交互，导致机器人难以连续抓取多个物体。
- SeqMultiGrasp系统通过首先合成和验证单物体抓取姿态，然后合并这些姿态来构建多物体抓取配置，从而实现连续抓取。
- 实验结果表明，基于扩散模型的抓取模型在模拟和真实环境中均取得了较高的成功率，验证了该方法在连续多物体抓取方面的潜力。
📝 摘要（中文）
本文提出SeqMultiGrasp，一个使用四指Allegro灵巧手连续抓取物体的系统。该系统专注于连续抓取两个物体，确保机械手完全包围第一个物体后再抬起，然后在不掉落第一个物体的情况下抓取第二个物体。系统首先合成单物体抓取候选姿态，每个抓取姿态都约束为仅使用机械手的部分连杆。这些抓取姿态随后在物理模拟器中进行验证，以确保稳定性和可行性。接下来，合并验证后的单物体抓取姿态以构建多物体抓取配置。为了在真实世界中部署，训练了一个以点云为条件的扩散模型来生成抓取姿态，然后采用基于启发式的执行策略。在模拟和真实环境中分别使用8x8和6x3的物体组合测试了该系统。基于扩散的抓取模型在1600次模拟试验中获得了65.8%的平均成功率，在90次真实世界试验中获得了56.7%的平均成功率，表明它是一种有前景的连续多物体抓取方法。
🔬 方法详解
问题定义：论文旨在解决使用灵巧手连续抓取多个物体的问题。现有的方法难以处理物体几何形状的多样性和高自由度机械手抓取时的复杂接触交互，导致机器人难以在抓取一个物体的同时包围另一个物体，从而难以实现连续抓取。
核心思路：论文的核心思路是将多物体抓取问题分解为单物体抓取的组合。首先，针对每个物体生成多个候选抓取姿态，并对这些姿态进行验证，确保其稳定性和可行性。然后，将验证后的单物体抓取姿态进行组合，形成多物体抓取配置。这种分解方法降低了问题的复杂度，使得可以使用现有的单物体抓取算法来解决多物体抓取问题。
技术框架：SeqMultiGrasp系统主要包含三个阶段：单物体抓取姿态合成、抓取姿态验证和多物体抓取配置生成。首先，系统合成单物体抓取候选姿态，并约束每个抓取姿态仅使用机械手的部分连杆。然后，在物理模拟器中验证这些抓取姿态的稳定性和可行性。最后，合并验证后的单物体抓取姿态，构建多物体抓取配置。在真实世界部署中，使用点云条件下的扩散模型生成抓取姿态，并采用基于启发式的执行策略。
关键创新：该论文的关键创新在于使用扩散模型来生成抓取姿态，并采用启发式执行策略。扩散模型能够生成多样化的抓取姿态，从而提高了抓取的成功率。启发式执行策略则能够根据实际情况调整抓取姿态，从而提高了抓取的鲁棒性。与现有方法相比，该方法能够更好地处理物体几何形状的多样性和复杂接触交互。
关键设计：扩散模型以点云作为输入，输出抓取姿态的分布。损失函数包括抓取质量损失和姿态平滑损失。启发式执行策略根据机械手的当前状态和目标物体的姿态，调整机械手的关节角度，以实现稳定的抓取。
🖼️ 关键图片
📊 实验亮点
该系统在模拟和真实环境中进行了广泛的实验。在模拟环境中，使用8x8的物体组合进行了测试，基于扩散的抓取模型获得了65.8%的平均成功率。在真实环境中，使用6x3的物体组合进行了测试，获得了56.7%的平均成功率。实验结果表明，该系统在连续多物体抓取方面具有良好的性能。
🎯 应用场景
该研究成果可应用于自动化装配、物流分拣、家庭服务机器人等领域。例如，在自动化装配中，机器人可以使用灵巧手连续抓取多个零件进行组装。在物流分拣中，机器人可以同时抓取多个包裹，提高分拣效率。在家庭服务机器人中，机器人可以帮助人们整理物品，完成复杂的抓取任务。该研究为灵巧手在复杂环境下的应用提供了新的思路。
📄 摘要（原文）
Sequentially grasping multiple objects with multi-fingered hands is common in daily life, where humans can fully leverage the dexterity of their hands to enclose multiple objects. However, the diversity of object geometries and the complex contact interactions required for high-DOF hands to grasp one object while enclosing another make sequential multi-object grasping challenging for robots. In this paper, we propose SeqMultiGrasp, a system for sequentially grasping objects with a four-fingered Allegro Hand. We focus on sequentially grasping two objects, ensuring that the hand fully encloses one object before lifting it and then grasps the second object without dropping the first. Our system first synthesizes single-object grasp candidates, where each grasp is constrained to use only a subset of the hand's links. These grasps are then validated in a physics simulator to ensure stability and feasibility. Next, we merge the validated single-object grasp poses to construct multi-object grasp configurations. For real-world deployment, we train a diffusion model conditioned on point clouds to propose grasp poses, followed by a heuristic-based execution strategy. We test our system using $8 \times 8$ object combinations in simulation and $6 \times 3$ object combinations in real. Our diffusion-based grasp model obtains an average success rate of 65.8% over 1,600 simulation trials and 56.7% over 90 real-world trials, suggesting that it is a promising approach for sequential multi-object grasping with multi-fingered hands. Supplementary material is available on our project website: https://hesic73.github.io/SeqMultiGrasp.