DHAGrasp: Synthesizing Affordance-Aware Dual-Hand Grasps with Text Instructions
作者: Quanzhou Li, Zhonghua Wu, Jingbo Wang, Chen Change Loy, Bo Dai
分类: cs.RO
发布日期: 2025-09-26
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
DHAGrasp：提出文本引导的双手抓取生成方法，实现语义感知的抓取合成
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 双手抓取生成 文本引导 可供性表示 数据集构建 人机交互
📋 核心要点
- 现有双手抓取数据集稀缺，且缺乏物体语义信息，限制了相关研究的进展。
- 提出DHAGrasp，利用物体和手的对称性生成大规模双手抓取数据集，并设计文本引导的生成器。
- 实验表明，DHAGrasp能生成多样且语义一致的抓取，并在未见物体上表现出良好的泛化能力。
📝 摘要（中文）
由于数据集的稀缺性，学习生成符合物体语义的双手抓取对于鲁棒的人机交互至关重要，但仍未得到充分探索。现有的抓取数据集主要集中于单手交互，并且只包含有限的语义部件标注。为了解决这些挑战，我们引入了一个名为SymOpt的流程，通过利用现有的单手数据集并挖掘物体和手的对称性，构建了一个大规模的双手抓取数据集。在此基础上，我们提出了一个文本引导的双手抓取生成器DHAGrasp，用于为未见过的物体合成双手抓取，该方法结合了一种新的双手可供性表示，并遵循两阶段设计，从而能够有效地从小规模分割训练对象集中学习，同时扩展到更大的未分割数据池。大量的实验表明，我们的方法能够生成多样且语义一致的抓取，在抓取质量和泛化到未见过的物体方面都优于强大的基线。
🔬 方法详解
问题定义：论文旨在解决双手抓取生成问题，特别是针对缺乏大规模、语义标注丰富的双手抓取数据集的现状。现有方法要么依赖于有限的数据，要么难以保证生成抓取的语义一致性，即双手抓取的位置和方式符合物体的功能和结构。
核心思路：论文的核心思路是首先通过数据增强的方式构建大规模的双手抓取数据集，然后利用文本信息引导抓取生成，从而保证抓取的语义合理性。通过两阶段的设计，先在小规模分割数据上学习，再扩展到大规模未分割数据，提高模型的泛化能力。
技术框架：DHAGrasp包含两个主要阶段：1) 数据集构建阶段：利用SymOpt流程，从现有的单手抓取数据集出发，通过对称性操作生成双手抓取数据。2) 抓取生成阶段：采用两阶段生成器，第一阶段在分割数据上学习双手可供性表示，第二阶段利用文本信息引导，生成最终的双手抓取姿态。
关键创新：论文的关键创新在于：1) 提出了SymOpt流程，有效利用对称性生成大规模双手抓取数据集，缓解了数据稀缺问题。2) 引入了双手可供性表示，并结合文本信息引导抓取生成，保证了抓取的语义一致性。3) 采用了两阶段生成器，实现了从小规模分割数据到大规模未分割数据的有效迁移。
关键设计：SymOpt流程中，对称性操作包括物体对称和手对称。抓取生成器中，第一阶段学习双手可供性表示，可以采用图神经网络等结构。第二阶段，文本信息通过编码器嵌入到抓取生成过程中，例如作为条件输入到生成模型中。损失函数的设计需要考虑抓取的物理合理性、语义一致性以及与文本描述的匹配程度。具体的网络结构和参数设置在论文中应该有详细描述，但此处未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DHAGrasp在抓取质量和泛化能力方面均优于现有基线方法。具体而言，DHAGrasp能够生成多样且语义一致的抓取，并且在未见过的物体上也能保持较高的成功率。论文中可能提供了具体的量化指标，例如抓取成功率、抓取稳定性等，以及与不同基线方法的对比数据，但具体数值未知。
🎯 应用场景
该研究成果可应用于机器人操作、虚拟现实和人机交互等领域。例如，机器人可以根据物体的描述和功能，自动生成合适的双手抓取姿态，从而完成复杂的装配、操作任务。在虚拟现实中，用户可以通过自然语言指令控制虚拟角色的双手进行交互，提升沉浸感和交互体验。未来，该技术有望应用于智能家居、自动化生产线等场景。
📄 摘要（原文）
Learning to generate dual-hand grasps that respect object semantics is essential for robust hand-object interaction but remains largely underexplored due to dataset scarcity. Existing grasp datasets predominantly focus on single-hand interactions and contain only limited semantic part annotations. To address these challenges, we introduce a pipeline, SymOpt, that constructs a large-scale dual-hand grasp dataset by leveraging existing single-hand datasets and exploiting object and hand symmetries. Building on this, we propose a text-guided dual-hand grasp generator, DHAGrasp, that synthesizes Dual-Hand Affordance-aware Grasps for unseen objects. Our approach incorporates a novel dual-hand affordance representation and follows a two-stage design, which enables effective learning from a small set of segmented training objects while scaling to a much larger pool of unsegmented data. Extensive experiments demonstrate that our method produces diverse and semantically consistent grasps, outperforming strong baselines in both grasp quality and generalization to unseen objects. The project page is at https://quanzhou-li.github.io/DHAGrasp/.