SynManDex: Synthesizing Human-like Dexterous Grasps from Synthetic Human Pre-Grasps
作者: Yanming Shao, Zanxin Chen, Wenwei Lin, Mingjie Zhou, Tianxing Chen, Xiaokang Yang, Yichen Chi, Yao Mu
分类: cs.RO
发布日期: 2026-06-08
💡 一句话要点
提出SynManDex以解决机器人抓取中的人类手势转化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 机器人抓取 人类手势 合成管道 抓取优化 灵巧机器人 人机交互 深度学习
📋 核心要点
- 现有方法在将人类手势转化为机器人抓取时，常因形态和接触限制而导致失败。
- SynManDex通过生成的人类预抓取，结合机器人优化，提供了一种新的抓取方案。
- 实验结果显示，SynManDex在模拟和真实环境中均取得了高成功率，表现出色。
📝 摘要（中文）
人类手与物体的交互蕴含功能意图，但直接将其转移到机器人手上常常因形态、接触和可达性限制而失败。我们提出了SynManDex，这是一种合成管道，利用生成的人类预抓取作为感知意识的提案，并通过机器人原生优化解决最终接触。SynManDex从对象条件下采样数字人类预抓取，将其重定向为灵巧机器人手的姿势，优化目标实体上的力闭合接触，并允许经过每个步骤检查的轨迹。最终的关键帧支持抓取和提升演示以及各种前抓取操作任务，如倒茶、拍照和吹笛子，均由VLM代理设计。结果显示，SynManDex结合了高抓取质量（86.4%的抓取稳定性）和4.67/5的人类相似度（93.4%）。在模拟中成功率达到80.7%，在36自由度的双手灵巧机器人平台上实现了25/30（83.3%）的真实机器人成功率。
🔬 方法详解
问题定义：本论文旨在解决将人类手势有效转化为机器人抓取姿势的问题。现有方法在面对形态、接触和可达性限制时，常常无法实现有效的抓取。
核心思路：SynManDex的核心思想是利用生成的人类预抓取作为基础，通过机器人优化技术来实现最终的抓取接触。这种设计使得机器人能够更好地模拟人类的抓取行为。
技术框架：整体架构包括四个主要模块：1) 从对象条件下生成数字人类预抓取；2) 将预抓取重定向为灵巧机器人手的姿势；3) 优化目标实体上的力闭合接触；4) 允许经过每个步骤检查的轨迹。
关键创新：最重要的创新点在于将人类的预抓取与机器人优化结合，形成了一种新的抓取生成方法。这与现有方法的本质区别在于，前者更注重人类行为的模仿与优化。
关键设计：在设计中，关键参数包括抓取稳定性和人类相似度的优化目标，损失函数则考虑了接触力和姿态的平衡，网络结构采用了深度学习模型以实现高效的抓取生成。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SynManDex在模拟环境中的成功率达到80.7%，在真实机器人平台上实现了25/30（83.3%）的成功率，抓取稳定性高达86.4%，人类相似度评分为4.67/5，表现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、医疗机器人和人机协作系统等。通过提高机器人抓取的灵活性和人类相似度，SynManDex能够在复杂的操作任务中展现出更高的实用价值，未来可能推动机器人技术在日常生活中的广泛应用。
📄 摘要（原文）
Human hand-object interactions encode functional intent, but direct transfer to robotic hands often fails under morphology, contact, and reachability constraints. We present SynManDex, a synthetic pipeline that uses generated human pre-grasps as affordance-aware proposals and resolves the final contacts with robot-native optimization. SynManDex samples object-conditioned digital human pre-grasps, retargets them to dexterous robotic hand poses, optimizes force-closure contacts on the target embodiment, and admits trajectories that pass checks from each step. The resulting keyframes support both grasp-and-lift demonstrations and various prehensile manipulation tasks such as tea pouring, photo taking, and flute playing, designed via VLM agents. As a result, SynManDex combines high grasp quality (86.4\% grasp stability) with 4.67/5 human-likeness (93.4\%). It achieves 80.7\% successes in simulation and 25/30 (83.3\%) real-robot successes when applied to a 36-DOF bimanual dexterous robotic platform.