G-DexGrasp: Generalizable Dexterous Grasping Synthesis Via Part-Aware Prior Retrieval and Prior-Assisted Generation
作者: Juntao Jian, Xiuping Liu, Zixuan Chen, Manyi Li, Jian Liu, Ruizhen Hu
分类: cs.CV, cs.RO
发布日期: 2025-03-25 (更新: 2025-07-20)
备注: Accepted by ICCV 2025
💡 一句话要点
G-DexGrasp：通过部件感知先验检索与辅助生成实现通用灵巧抓取合成
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 灵巧抓取 抓取合成 通用抓取 部件感知 先验检索 生成模型 机器人操作
📋 核心要点
- 现有灵巧抓取合成方法难以泛化到未见过的物体类别和多样化的任务指令。
- G-DexGrasp通过检索细粒度接触部件和可供性相关的抓取分布作为先验知识，指导抓取合成。
- 实验结果表明，该方法在未见过的物体类别上表现出卓越的泛化性能，优于现有方法。
📝 摘要（中文）
本文提出了一种名为G-DexGrasp的检索增强生成方法，旨在为未见过的物体类别和基于语言的任务指令生成高质量的灵巧手部配置。该方法的关键在于检索通用的抓取先验，包括细粒度的接触部件和相关抓取实例的与可供性相关的分布，用于后续的合成流程。具体而言，细粒度的接触部件和可供性作为通用指导，通过生成模型推断未见物体的合理抓取配置，而相关的抓取分布则作为正则化项，保证后续优化过程中合成抓取的合理性。对比实验验证了我们关键设计的有效性，并展示了相对于现有方法的显著性能。
🔬 方法详解
问题定义：现有灵巧抓取合成方法在处理未见过的物体类别和复杂的语言指令时，泛化能力不足。它们通常依赖于特定数据集的训练，难以适应新的物体形状和任务需求，导致抓取质量下降甚至失败。
核心思路：G-DexGrasp的核心思路是利用检索增强生成的方式，通过检索通用的抓取先验知识来指导抓取合成。具体来说，它将物体部件的接触信息和可供性信息作为先验知识，并结合生成模型和优化方法，从而实现对未见物体的有效抓取。这种方法的核心在于将抓取问题分解为先验检索和先验辅助生成两个阶段，从而提高抓取的泛化能力。
技术框架：G-DexGrasp的整体框架包括以下几个主要模块：1) 先验检索模块：该模块负责从已有的抓取数据库中检索与当前物体和任务相关的抓取先验知识，包括细粒度的接触部件和可供性相关的抓取分布。2) 生成模型：该模块利用检索到的先验知识，生成初始的抓取配置。3) 优化模块：该模块对生成的抓取配置进行优化，以提高抓取的稳定性和成功率。
关键创新：G-DexGrasp的关键创新在于其利用部件感知的先验检索和先验辅助生成的方式，实现了对未见物体的通用灵巧抓取。与现有方法相比，G-DexGrasp不再依赖于特定数据集的训练，而是通过检索通用的抓取先验知识来指导抓取合成，从而提高了抓取的泛化能力。此外，G-DexGrasp还利用细粒度的接触部件和可供性信息作为先验知识，从而提高了抓取的精度和稳定性。
关键设计：在先验检索模块中，论文可能使用了某种嵌入模型来表示物体部件和抓取姿态，并使用相似度度量来检索相关的抓取先验知识。在生成模型中，可能使用了条件生成对抗网络（Conditional GAN）或变分自编码器（VAE）等生成模型，并以检索到的先验知识作为条件输入。在优化模块中，可能使用了基于物理仿真的优化方法，并结合了接触力、稳定性等约束条件。
🖼️ 关键图片
📊 实验亮点
实验结果表明，G-DexGrasp在未见过的物体类别上表现出卓越的泛化性能，显著优于现有的抓取合成方法。具体来说，G-DexGrasp在抓取成功率、抓取稳定性和抓取精度等方面均取得了显著的提升。项目主页提供了更多实验细节和可视化结果。
🎯 应用场景
G-DexGrasp在机器人操作、自动化装配、家庭服务等领域具有广泛的应用前景。它可以使机器人能够灵活地抓取各种形状和大小的物体，并完成复杂的任务，例如组装零件、整理物品等。此外，该方法还可以应用于虚拟现实和游戏等领域，为用户提供更加逼真的交互体验。
📄 摘要（原文）
Recent advances in dexterous grasping synthesis have demonstrated significant progress in producing reasonable and plausible grasps for many task purposes. But it remains challenging to generalize to unseen object categories and diverse task instructions. In this paper, we propose G-DexGrasp, a retrieval-augmented generation approach that can produce high-quality dexterous hand configurations for unseen object categories and language-based task instructions. The key is to retrieve generalizable grasping priors, including the fine-grained contact part and the affordance-related distribution of relevant grasping instances, for the following synthesis pipeline. Specifically, the fine-grained contact part and affordance act as generalizable guidance to infer reasonable grasping configurations for unseen objects with a generative model, while the relevant grasping distribution plays as regularization to guarantee the plausibility of synthesized grasps during the subsequent refinement optimization. Our comparison experiments validate the effectiveness of our key designs for generalization and demonstrate the remarkable performance against the existing approaches. Project page: https://g-dexgrasp.github.io/