Glovity: Learning Dexterous Contact-Rich Manipulation via Spatial Wrench Feedback Teleoperation System
作者: Yuyang Gao, Haofei Ma, Pai Zheng
分类: cs.RO
发布日期: 2025-10-10
💡 一句话要点
Glovity：通过空间力/力矩反馈遥操作系统学习灵巧的接触丰富操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 遥操作 力反馈 触觉反馈 灵巧操作 机器人 模仿学习 霍尔传感器
📋 核心要点
- 现有遥操作系统在接触丰富的灵巧操作中，缺乏直观的力/力矩反馈，导致操作精度和效率受限。
- Glovity通过集成空间力/力矩反馈设备和触觉手套，提供直观的力/力矩和触觉反馈，实现更精确的遥操作。
- 实验表明，Glovity显著提高了翻书等接触丰富任务的成功率和效率，并在模仿学习中表现出良好的泛化能力。
📝 摘要（中文）
我们提出了Glovity，一种新型、低成本的可穿戴遥操作系统，它集成了空间力/力矩反馈设备和一个具有指尖霍尔传感器校准的触觉手套，从而实现了反馈丰富的灵巧操作。Glovity通过提供直观的力/力矩和触觉反馈来解决接触丰富任务中的关键挑战，同时通过精确的重定向来克服具身差距。用户研究表明，Glovity带来了显著的改进：力/力矩反馈将翻书任务的成功率从48%提高到78%，并将完成时间缩短了25%，而指尖校准显著提高了薄物体的抓取成功率，优于商业手套。此外，将力/力矩信号整合到模仿学习中（通过DP-R3M）在新的接触丰富场景中实现了高成功率，例如自适应翻页和力感知的物体传递。所有硬件设计和软件都将开源。项目网站：https://glovity.github.io/
🔬 方法详解
问题定义：现有遥操作系统在处理接触丰富的灵巧操作任务时，面临着缺乏有效的力/力矩反馈的问题。操作者难以感知与环境的交互力，导致操作精度低、易出错，并且难以完成需要精细力控制的任务，例如翻书、物体传递等。商业触觉手套虽然提供了一定的触觉反馈，但在精确性和校准方面存在不足，限制了其在复杂操作中的应用。
核心思路：Glovity的核心思路是通过构建一个低成本、可穿戴的遥操作系统，该系统能够提供直观的空间力/力矩反馈和精确的触觉反馈。通过力/力矩反馈，操作者可以感知与环境的交互力，从而更精确地控制机械臂的运动。通过指尖霍尔传感器校准，提高触觉反馈的准确性，增强操作者对物体形状和表面特性的感知。
技术框架：Glovity系统主要由以下几个部分组成：1) 可穿戴遥操作手套：配备指尖霍尔传感器，用于感知手指的运动和触觉信息。2) 空间力/力矩反馈设备：用于测量操作者手部的力/力矩，并将这些信息反馈给机械臂。3) 控制系统：将操作者的手部运动和力/力矩信息映射到机械臂的运动控制指令。4) 模仿学习模块（DP-R3M）：将力/力矩信号整合到模仿学习中，提高系统在新的接触丰富场景中的泛化能力。
关键创新：Glovity的主要创新点在于：1) 集成了空间力/力矩反馈设备和触觉手套，实现了反馈丰富的灵巧操作。2) 提出了指尖霍尔传感器校准方法，提高了触觉反馈的准确性。3) 将力/力矩信号整合到模仿学习中，提高了系统在新的接触丰富场景中的泛化能力。与现有方法相比，Glovity能够提供更直观、更精确的力/力矩和触觉反馈，从而实现更高效、更可靠的灵巧操作。
关键设计：Glovity系统的关键设计包括：1) 霍尔传感器的选择和校准：选择高精度、低噪声的霍尔传感器，并采用有效的校准方法，提高触觉反馈的准确性。2) 力/力矩反馈设备的集成：将力/力矩反馈设备与触觉手套集成，确保操作者能够同时感知力/力矩和触觉信息。3) 控制算法的设计：设计有效的控制算法，将操作者的手部运动和力/力矩信息映射到机械臂的运动控制指令，实现精确的遥操作。4) 模仿学习算法的改进：将力/力矩信号作为输入，改进模仿学习算法，提高系统在新的接触丰富场景中的泛化能力。
🖼️ 关键图片
📊 实验亮点
用户研究表明，Glovity系统显著提高了接触丰富任务的性能。在翻书任务中，力/力矩反馈将成功率从48%提高到78%，并将完成时间缩短了25%。指尖校准显著提高了薄物体的抓取成功率，优于商业手套。此外，将力/力矩信号整合到模仿学习中（通过DP-R3M）在新的接触丰富场景中实现了高成功率，例如自适应翻页和力感知的物体传递。
🎯 应用场景
Glovity系统具有广泛的应用前景，例如远程医疗、危险环境下的操作、精细制造等。在远程医疗中，医生可以通过Glovity系统远程进行手术操作。在危险环境中，操作员可以利用Glovity系统控制机器人进行排爆、救援等任务。在精细制造中，工人可以使用Glovity系统控制机器人进行高精度装配、打磨等操作。该研究有望推动遥操作技术的发展，并为各行各业带来实际价值。
📄 摘要（原文）
We present Glovity, a novel, low-cost wearable teleoperation system that integrates a spatial wrench (force-torque) feedback device with a haptic glove featuring fingertip Hall sensor calibration, enabling feedback-rich dexterous manipulation. Glovity addresses key challenges in contact-rich tasks by providing intuitive wrench and tactile feedback, while overcoming embodiment gaps through precise retargeting. User studies demonstrate significant improvements: wrench feedback boosts success rates in book-flipping tasks from 48% to 78% and reduces completion time by 25%, while fingertip calibration enhances thin-object grasping success significantly compared to commercial glove. Furthermore, incorporating wrench signals into imitation learning (via DP-R3M) achieves high success rate in novel contact-rich scenarios, such as adaptive page flipping and force-aware handovers. All hardware designs, software will be open-sourced. Project website: https://glovity.github.io/