GraspSense: Physically Grounded Grasp and Grip Planning for a Dexterous Robotic Hand via Language-Guided Perception and Force Maps
作者: Elizaveta Semenyakina, Ivan Snegirev, Mariya Lezina, Miguel Altamirano Cabrera, Safina Gulyamova, Dzmitry Tsetserukou
分类: cs.RO, eess.SY
发布日期: 2026-04-07
备注: 6 pages, 4 figures, 4 tables
💡 一句话要点
GraspSense：基于力感知的灵巧手抓取与力控规划
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 灵巧手抓取 力感知 力图 阻抗控制 机器人操作 物理仿真
📋 核心要点
- 现有抓取规划方法忽略了物体表面力学属性的非均匀性，导致抓取脆弱物体时易损坏。
- GraspSense通过构建物体表面的力图，指导抓取点的选择和抓取力的控制，确保安全可靠的抓取。
- 实验表明，该方法能有效选择结构更强的接触区域，并将抓取力控制在安全范围内，适用于不同材质的物体。
📝 摘要（中文）
灵巧的机器人操作不仅需要几何上有效的抓取，还需要考虑物体空间上非均匀的力学属性的、物理上合理的接触策略。现有的抓取规划器通常将表面视为结构均匀的，即使几何上完美的抓取，在薄弱区域的接触也可能损坏物体。本文提出了一种基于局部容许接触载荷图的五指机器人手抓取选择和力调节流程。系统根据操作员的指令识别目标物体，使用SAM3D重建其3D几何形状，并将模型导入Isaac Sim。然后，基于物理的几何分析计算力图，该力图编码了每个表面位置在不发生变形的情况下允许的最大横向接触力。抓取候选者通过几何有效性和任务目标一致性进行过滤。当多个候选者在经典指标下具有可比性时，使用力图感知标准对它们进行重新排序，该标准偏向于在机械上可接受的区域进行接触的抓取。阻抗控制器根据接触点处的局部容许力缩放每个手指的刚度，从而实现安全可靠的抓取执行。在纸杯、塑料杯和玻璃杯上的验证表明，所提出的方法始终选择结构上更强的接触区域，并将抓取力保持在安全范围内。通过这种方式，这项工作将灵巧操作从纯粹的几何问题重新定义为未来人形系统的抓取选择和抓取执行的物理基础上的联合规划问题。
🔬 方法详解
问题定义：现有灵巧手抓取规划方法主要关注几何有效性，忽略了物体表面力学属性的非均匀性。这导致在抓取脆弱或易变形物体时，即使几何上看似完美的抓取，也可能因为接触点位于薄弱区域而损坏物体。因此，需要一种能够感知物体表面力学属性并据此进行抓取规划的方法。
核心思路：GraspSense的核心思路是将抓取规划问题转化为一个物理基础上的联合规划问题，即同时考虑抓取点的选择和抓取力的控制。通过构建物体表面的力图，编码每个位置允许的最大接触力，从而指导抓取点的选择，并根据局部容许力调节手指的刚度，实现安全可靠的抓取。
技术框架：GraspSense的整体流程包括以下几个主要模块：1) 物体识别与3D重建：使用SAM3D识别目标物体并重建其3D几何模型。2) 力图计算：基于物理的几何分析计算力图，编码每个表面位置允许的最大横向接触力。3) 抓取候选生成与过滤：生成多个抓取候选，并根据几何有效性和任务目标一致性进行初步过滤。4) 力图感知的抓取排序：使用力图感知标准对抓取候选进行重新排序，选择在机械上可接受的区域进行接触的抓取。5) 阻抗控制：根据接触点处的局部容许力缩放每个手指的刚度，实现安全可靠的抓取执行。
关键创新：GraspSense最重要的技术创新在于引入了力图的概念，将物体表面的力学属性融入到抓取规划过程中。与现有方法仅关注几何有效性不同，GraspSense能够感知物体表面的力学强度，并据此选择合适的抓取点和控制抓取力，从而避免损坏物体。这是从纯几何抓取到物理抓取的重要一步。
关键设计：力图的计算是关键。论文采用基于物理的几何分析方法，模拟在不同位置施加力时物体的变形情况，从而计算出每个位置允许的最大横向接触力。阻抗控制器的设计也至关重要，它根据接触点处的局部容许力动态调整手指的刚度，确保抓取力始终在安全范围内。具体参数设置和损失函数细节未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GraspSense能够有效选择结构更强的接触区域，并将抓取力控制在安全范围内。在纸杯、塑料杯和玻璃杯等不同材质的物体上进行了验证，证明了该方法的通用性和有效性。具体的性能数据和提升幅度未知。
🎯 应用场景
GraspSense可应用于各种需要灵巧操作的机器人场景，例如：医疗机器人辅助手术，服务机器人抓取易碎物品，工业机器人进行精密装配等。该研究有助于提升机器人操作的安全性、可靠性和适应性，推动人形机器人和通用机器人的发展。
📄 摘要（原文）
Dexterous robotic manipulation requires more than geometrically valid grasps: it demands physically grounded contact strategies that account for the spatially non-uniform mechanical properties of the object. However, existing grasp planners typically treat the surface as structurally homogeneous, even though contact in a weak region can damage the object despite a geometrically perfect grasp. We present a pipeline for grasp selection and force regulation in a five-fingered robotic hand, based on a map of locally admissible contact loads. From an operator command, the system identifies the target object, reconstructs its 3D geometry using SAM3D, and imports the model into Isaac Sim. A physics-informed geometric analysis then computes a force map that encodes the maximum lateral contact force admissible at each surface location without deformation. Grasp candidates are filtered by geometric validity and task-goal consistency. When multiple candidates are comparable under classical metrics, they are re-ranked using a force-map-aware criterion that favors grasps with contacts in mechanically admissible regions. An impedance controller scales the stiffness of each finger according to the locally admissible force at the contact point, enabling safe and reliable grasp execution. Validation on paper, plastic, and glass cups shows that the proposed approach consistently selects structurally stronger contact regions and keeps grip forces within safe bounds. In this way, the work reframes dexterous manipulation from a purely geometric problem into a physically grounded joint planning problem of grasp selection and grip execution for future humanoid systems.