A High-Force Gripper with Embedded Multimodal Sensing for Powerful and Perception Driven Grasping
作者: Edoardo Del Bianco, Davide Torielli, Federico Rollo, Damiano Gasperini, Arturo Laurenzi, Lorenzo Baccelliere, Luca Muratore, Marco Roveri, Nikos G. Tsagarakis
分类: cs.RO, cs.AI
发布日期: 2025-04-07
备注: 8 pages, 15 figures
期刊: IEEE-RAS International Conference on Humanoid Robots (Humanoids), Nancy, France, 2024, pp. 149-156
DOI: 10.1109/Humanoids58906.2024.10769951
💡 一句话要点
开发高力多模态感知机械爪，用于人形机器人高负载和感知驱动的抓取任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 高抓取力机械爪 多模态感知 人形机器人 感知驱动抓取 嵌入式系统
📋 核心要点
- 现有机器人末端执行器抓取力不足，限制了可抓取和操作的有效载荷，无法充分发挥手臂的潜力。
- 设计高抓取力机械爪，集成手眼相机、ToF传感器、IMU和麦克风等多模态感知，实现感知驱动的抓取。
- 通过有效载荷评估指标和感知引导的抓取实验，验证了机械爪的高抓取力和多模态感知能力。
📝 摘要（中文）
本文提出了一种模块化的高抓取力机械爪，该机械爪配备了嵌入式多模态感知功能。该机械爪结构紧凑，能够产生110N的抓取力。除了高抓取力之外，该机械爪还集成了多模态感知功能，包括手眼相机、飞行时间（ToF）距离传感器、惯性测量单元（IMU）和全向麦克风，从而能够实现感知驱动的抓取功能。我们通过引入新的有效载荷评估指标（该指标是机器人手臂动态运动和机械爪热状态的函数）来广泛评估机械爪的抓取力能力。我们还通过执行感知引导的增强抓取操作来评估嵌入式多模态感知。
🔬 方法详解
问题定义：现有的人形机器人末端执行器在抓取和操作物体时，通常只能处理较低或中等的有效载荷和交互力。这是因为末端执行器本身的限制，无法匹配手臂所能达到的有效载荷，从而限制了可以抓取和操作的物体重量。此外，现有的机械爪通常缺乏足够的感知能力，抓取动作主要依赖于安装在机器人身体上的感知传感器，这些传感器容易受到手臂运动造成的遮挡的影响。
核心思路：本文的核心思路是设计一种高抓取力的机械爪，并在其内部嵌入多模态感知传感器。通过提高抓取力，可以扩展机器人可以处理的物体范围。通过嵌入多模态感知，可以提高抓取的精度和鲁棒性，减少对外部传感器的依赖。
技术框架：该机械爪采用模块化设计，主要包括以下几个部分：高抓取力执行机构、手眼相机、ToF距离传感器、IMU和全向麦克风。高抓取力执行机构负责提供足够的抓取力。手眼相机提供视觉信息，用于物体识别和姿态估计。ToF距离传感器提供深度信息，用于物体形状感知。IMU提供机械爪的姿态信息，用于运动控制。全向麦克风用于声音感知，可以用于辅助抓取。
关键创新：该论文的关键创新在于将高抓取力和多模态感知集成到一个紧凑的机械爪中。这种集成使得机器人可以在没有外部传感器辅助的情况下，实现高精度、高鲁棒性的抓取。此外，该论文还提出了新的有效载荷评估指标，该指标考虑了机器人手臂的动态运动和机械爪的热状态，可以更准确地评估机械爪的性能。
关键设计：论文中没有详细说明关键参数设置、损失函数或网络结构等技术细节。但是，可以推断，机械爪的抓取力控制可能采用了力/位混合控制策略。多模态感知数据的融合可能采用了卡尔曼滤波或扩展卡尔曼滤波等方法。具体的设计细节需要参考相关的文献或联系作者获取。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该机械爪能够产生110N的抓取力。通过感知引导的抓取实验，验证了嵌入式多模态感知能够提高抓取的精度和鲁棒性。此外，论文还提出了新的有效载荷评估指标，该指标可以更准确地评估机械爪的性能，为机械爪的设计和优化提供了参考。
🎯 应用场景
该研究成果可应用于人形机器人、协作机器人等领域，使其能够执行更复杂、更精细的抓取和操作任务，例如在工业生产线上进行重物搬运、在医疗领域进行手术辅助、在家庭环境中进行物品整理等。未来，该技术有望进一步提升机器人的自主性和适应性，使其能够更好地服务于人类。
📄 摘要（原文）
Modern humanoid robots have shown their promising potential for executing various tasks involving the grasping and manipulation of objects using their end-effectors. Nevertheless, in the most of the cases, the grasping and manipulation actions involve low to moderate payload and interaction forces. This is due to limitations often presented by the end-effectors, which can not match their arm-reachable payload, and hence limit the payload that can be grasped and manipulated. In addition, grippers usually do not embed adequate perception in their hardware, and grasping actions are mainly driven by perception sensors installed in the rest of the robot body, frequently affected by occlusions due to the arm motions during the execution of the grasping and manipulation tasks. To address the above, we developed a modular high grasping force gripper equipped with embedded multi-modal perception functionalities. The proposed gripper can generate a grasping force of 110 N in a compact implementation. The high grasping force capability is combined with embedded multi-modal sensing, which includes an eye-in-hand camera, a Time-of-Flight (ToF) distance sensor, an Inertial Measurement Unit (IMU) and an omnidirectional microphone, permitting the implementation of perception-driven grasping functionalities. We extensively evaluated the grasping force capacity of the gripper by introducing novel payload evaluation metrics that are a function of the robot arm's dynamic motion and gripper thermal states. We also evaluated the embedded multi-modal sensing by performing perception-guided enhanced grasping operations.