HOGraspFlow: Exploring Vision-based Generative Grasp Synthesis with Hand-Object Priors and Taxonomy Awareness

📄 arXiv: 2509.16871v1 📥 PDF

作者: Yitian Shi, Zicheng Guo, Rosa Wolf, Edgar Welte, Rania Rayyes

分类: cs.RO

发布日期: 2025-09-21

备注: under review

💡 一句话要点

提出HOGraspFlow，利用手-物先验和分类感知实现基于视觉的生成式抓取合成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抓取合成 手-物交互 去噪流匹配 视觉伺服 机器人操作 分类感知 可供性 深度学习

📋 核心要点

  1. 现有抓取合成方法依赖于显式的几何先验或接触信息，限制了其在复杂场景中的应用。
  2. HOGraspFlow利用RGB图像、手-物交互重建和分类感知先验，通过去噪流匹配生成高质量抓取姿势。
  3. 实验表明，HOGraspFlow在抓取合成保真度和优化稳定性方面优于基于扩散的方法，并在真实场景中取得了超过83%的成功率。

📝 摘要（中文）

我们提出了一种以可供性为中心的抓取方法，名为手-物(HO)GraspFlow，它将单个带有手-物交互(HOI)的RGB图像重新定向为多模态可执行的平行爪抓取，而无需目标对象的显式几何先验。基于用于手部重建和视觉的基础模型，我们通过去噪流匹配(FM)合成$SE(3)$抓取姿势，并以以下三个互补线索为条件：作为视觉语义的RGB基础特征、HOI接触重建以及关于抓取类型的分类感知先验。我们的方法在没有显式HOI接触输入或对象几何的情况下，展示了抓取合成的高保真度，同时保持了强大的接触和分类识别能力。另一项受控比较表明，HOGraspFlow始终优于基于扩散的变体(HOGraspDiff)，在$SE(3)$中实现了高分布保真度和更稳定的优化。我们在真实世界的实验中展示了从人类演示中进行可靠的、对象无关的抓取合成，平均成功率超过83%。

🔬 方法详解

问题定义：论文旨在解决在没有显式物体几何信息和精确手-物交互接触信息的情况下，如何仅通过RGB图像生成高质量、可执行的平行爪抓取姿势的问题。现有方法通常依赖于精确的物体三维模型或手部与物体的精确接触点，这在实际应用中难以获取，限制了其泛化能力和适用性。

核心思路：论文的核心思路是利用视觉语义、手-物交互重建和分类感知先验作为条件，通过去噪流匹配（Denoising Flow Matching, FM）学习一个从噪声到抓取姿势的映射。这种方法避免了对物体几何信息的直接依赖，而是通过学习数据分布来生成合理的抓取姿势。

技术框架：HOGraspFlow的整体框架包括以下几个主要模块：1) RGB图像特征提取：利用预训练的视觉基础模型提取RGB图像的视觉语义特征。2) 手-物交互重建：从RGB图像中重建手部和物体的交互信息，估计手部姿态和物体形状。3) 分类感知先验：利用抓取类型的分类信息作为先验知识，指导抓取姿势的生成。4) 去噪流匹配：使用去噪流匹配算法学习一个从噪声到抓取姿势的映射，以视觉语义特征、手-物交互重建和分类感知先验作为条件。

关键创新：该论文的关键创新在于：1) 提出了一种基于去噪流匹配的抓取合成方法，避免了对物体几何信息的直接依赖。2) 结合了视觉语义特征、手-物交互重建和分类感知先验，提高了抓取合成的质量和鲁棒性。3) 通过实验证明，该方法在抓取合成保真度和优化稳定性方面优于基于扩散的方法。

关键设计：在技术细节方面，论文使用了预训练的视觉基础模型来提取RGB图像特征，并使用现有的手部重建方法来估计手部姿态。在去噪流匹配方面，论文使用了标准的流匹配损失函数，并对抓取姿势的$SE(3)$空间进行了参数化。此外，论文还设计了一个分类器来预测抓取类型，并将抓取类型信息作为先验知识融入到抓取姿势的生成过程中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HOGraspFlow在抓取合成保真度和优化稳定性方面优于基于扩散的变体(HOGraspDiff)。在真实世界的实验中，HOGraspFlow实现了超过83%的平均抓取成功率，证明了其在实际应用中的可行性和有效性。此外，实验还验证了HOGraspFlow在没有显式HOI接触输入或对象几何的情况下，仍能保持强大的接触和分类识别能力。

🎯 应用场景

HOGraspFlow具有广泛的应用前景，例如：机器人自动化、智能家居、辅助机器人等。它可以使机器人能够在未知环境中，仅通过视觉信息就能自主地完成抓取任务，从而提高机器人的智能化水平和适应能力。此外，该方法还可以应用于虚拟现实和增强现实等领域，为用户提供更自然、更真实的交互体验。

📄 摘要（原文）

We propose Hand-Object\emph{(HO)GraspFlow}, an affordance-centric approach that retargets a single RGB with hand-object interaction (HOI) into multi-modal executable parallel jaw grasps without explicit geometric priors on target objects. Building on foundation models for hand reconstruction and vision, we synthesize $SE(3)$ grasp poses with denoising flow matching (FM), conditioned on the following three complementary cues: RGB foundation features as visual semantics, HOI contact reconstruction, and taxonomy-aware prior on grasp types. Our approach demonstrates high fidelity in grasp synthesis without explicit HOI contact input or object geometry, while maintaining strong contact and taxonomy recognition. Another controlled comparison shows that \emph{HOGraspFlow} consistently outperforms diffusion-based variants (\emph{HOGraspDiff}), achieving high distributional fidelity and more stable optimization in $SE(3)$. We demonstrate a reliable, object-agnostic grasp synthesis from human demonstrations in real-world experiments, where an average success rate of over $83\%$ is achieved.