DiPGrasp: Parallel Local Searching for Efficient Differentiable Grasp Planning
作者: Wenqiang Xu, Jieyi Zhang, Tutian Tang, Zhenjun Yu, Yutong Li, Cewu Lu
分类: cs.RO
发布日期: 2024-08-08
💡 一句话要点
DiPGrasp：提出一种高效可微的并行局部搜索抓取规划器，适用于不同自由度的机器人
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 抓取规划 可微规划 机器人操作 并行优化 力闭合
📋 核心要点
- 现有抓取规划器难以兼顾速度、可微性和对不同自由度夹爪的兼容性，限制了其在机器人操作中的应用。
- DiPGrasp通过并行采样和梯度优化，加速了抓取搜索，并保证了可微性，使其能够与神经网络结合。
- 实验表明，DiPGrasp在抓取数据集生成、掩码条件规划和姿态优化方面均表现出色，并在真实机器人上验证了其有效性。
📝 摘要（中文）
本文提出了一种名为DiPGrasp的抓取规划器，旨在实现独立、快速且可微的抓取规划，并能兼容不同自由度的机器人夹爪。DiPGrasp采用基于力闭合几何表面匹配的抓取质量评估指标，并在此基础上进行基于梯度的优化，同时考虑了并行采样和碰撞处理。这不仅显著加速了物体表面上的抓取搜索过程，还使其具有可微性。DiPGrasp被应用于三个应用场景：抓取数据集构建、掩码条件下的规划和姿态优化。在数据集生成方面，作为一个独立的规划器，DiPGrasp在速度和质量上都优于几种经典规划器。对于掩码条件下的规划，它可以立即将3D感知模型转化为3D抓取检测模型。作为姿态优化器，它可以优化来自神经网络的粗略抓取预测以及神经网络参数。最后，我们使用Barrett手和Schunk SVH五指手进行了真实世界的实验。
🔬 方法详解
问题定义：现有的抓取规划方法通常在速度、可微性以及对不同自由度机器人夹爪的兼容性方面存在局限。一些方法计算复杂度高，难以实时应用；另一些方法不可微，无法与深度学习模型进行端到端优化；还有一些方法只适用于特定类型的夹爪，通用性较差。因此，需要一种快速、可微且通用的抓取规划器。
核心思路：DiPGrasp的核心思路是利用基于梯度的优化方法，在力闭合的抓取质量评估指标上进行搜索。通过并行采样，可以同时探索多个可能的抓取姿态，加速搜索过程。同时，通过显式地处理碰撞，可以保证生成的抓取姿态是可行的。此外，基于梯度的优化使得整个过程可微，可以与深度学习模型进行集成。
技术框架：DiPGrasp的整体框架包括以下几个主要模块：1) 抓取质量评估：使用基于力闭合的几何表面匹配方法评估抓取质量。2) 并行采样：在物体表面并行采样多个初始抓取姿态。3) 梯度优化：使用梯度下降法优化抓取姿态，使其抓取质量更高。4) 碰撞处理：在优化过程中，显式地处理碰撞，避免生成不可行的抓取姿态。
关键创新：DiPGrasp的关键创新在于将并行采样和梯度优化相结合，实现了一种高效且可微的抓取规划方法。与传统的抓取规划方法相比，DiPGrasp能够显著加速抓取搜索过程，并且具有可微性，可以与深度学习模型进行端到端优化。此外，DiPGrasp还考虑了碰撞处理，保证了生成的抓取姿态是可行的。
关键设计：DiPGrasp的关键设计包括：1) 抓取质量评估指标：使用基于力闭合的几何表面匹配方法，该方法能够有效地评估抓取姿态的稳定性。2) 并行采样策略：采用均匀采样或基于先验知识的采样方法，以提高采样效率。3) 梯度优化算法：使用Adam等优化算法，并设置合适的学习率和迭代次数。4) 碰撞处理方法：使用基于距离场的碰撞检测方法，并设置合适的碰撞惩罚项。
🖼️ 关键图片
📊 实验亮点
DiPGrasp在抓取数据集生成方面，速度和质量均优于经典规划器。在掩码条件规划中，可将3D感知模型快速转化为3D抓取检测模型。作为姿态优化器，能有效优化神经网络的粗略抓取预测，并优化网络参数。真实机器人实验（Barrett手和Schunk SVH五指手）验证了其有效性。
🎯 应用场景
DiPGrasp具有广泛的应用前景，例如：1) 机器人自动抓取：可以用于工业机器人、服务机器人等，实现对各种物体的自动抓取。2) 抓取数据集生成：可以快速生成大量的抓取数据，用于训练深度学习模型。3) 机器人辅助设计：可以帮助设计师设计易于抓取的物体。未来，DiPGrasp有望成为机器人操作领域的重要工具。
📄 摘要（原文）
Grasp planning is an important task for robotic manipulation. Though it is a richly studied area, a standalone, fast, and differentiable grasp planner that can work with robot grippers of different DOFs has not been reported. In this work, we present DiPGrasp, a grasp planner that satisfies all these goals. DiPGrasp takes a force-closure geometric surface matching grasp quality metric. It adopts a gradient-based optimization scheme on the metric, which also considers parallel sampling and collision handling. This not only drastically accelerates the grasp search process over the object surface but also makes it differentiable. We apply DiPGrasp to three applications, namely grasp dataset construction, mask-conditioned planning, and pose refinement. For dataset generation, as a standalone planner, DiPGrasp has clear advantages over speed and quality compared with several classic planners. For mask-conditioned planning, it can turn a 3D perception model into a 3D grasp detection model instantly. As a pose refiner, it can optimize the coarse grasp prediction from the neural network, as well as the neural network parameters. Finally, we conduct real-world experiments with the Barrett hand and Schunk SVH 5-finger hand. Video and supplementary materials can be viewed on our website: \url{https://dipgrasp.robotflow.ai}.