An Agile Large-Workspace Teleoperation Interface Based on Human Arm Motion and Force Estimation
作者: Jianhang Jia, Hao Zhou, Xin Zhang
分类: cs.RO
发布日期: 2024-10-20
备注: 6 pages, 8 figures, accepted by 2024 IEEE International Conference on Robotics and Biomimetics (IEEE ROBIO 2024)
💡 一句话要点
提出基于人体手臂运动和力估计的灵巧大空间遥操作界面
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 遥操作 可穿戴传感器 惯性测量单元 表面肌电 手臂运动估计 力估计 人机交互 机器人控制
📋 核心要点
- 现有遥操作界面在灵活性和敏捷性方面存在不足，难以有效映射人类意图到机器人。
- 利用可穿戴传感器获取人体手臂运动和力信息，通过手臂增量运动学和抓取识别实现直观控制。
- 实验结果表明，该界面在任务完成时间和操作体验方面均优于传统触觉设备。
📝 摘要（中文）
本文提出了一种基于人体手臂行为估计的灵巧大空间遥操作界面。该界面利用可穿戴传感器，包括惯性测量单元和表面肌电臂环，来捕捉人体手臂的运动和力信息，从而直观地控制机器人操作。该可穿戴界面的控制原理包括两个部分：手臂增量运动学和抓取识别。此外，我们开发了一个具有时间同步机制的遥操作框架，用于实时应用。通过与通用触觉设备（Omega 7）进行实验比较，验证了我们界面和框架的有效性。邀请了七名受试者完成三个不同的任务：自由运动、交接和拾取放置动作（每个任务十次），总测试次数为420次。客观上，我们使用任务完成时间和成功率来定量比较两个界面的性能。此外，为了量化操作员的体验，我们使用NASA任务负荷指数来评估他们的主观感受。结果表明，所提出的界面实现了具有竞争力的性能和更好的操作体验。
🔬 方法详解
问题定义：现有遥操作界面在大型工作空间中操作时，往往缺乏足够的灵活性和敏捷性，难以准确快速地将操作者的意图传递给机器人。传统的触觉设备虽然能提供力反馈，但在自然性和操作范围上存在局限性，操作者难以获得沉浸式的遥操作体验。
核心思路：本文的核心思路是利用可穿戴传感器捕捉操作者手臂的运动和力信息，并将其映射到机器人的控制上。通过这种方式，操作者可以像控制自己的手臂一样控制机器人，从而提高遥操作的自然性和灵活性。同时，通过力估计，可以使操作者感知到机器人与环境的交互力，从而更好地完成任务。
技术框架：该遥操作框架主要包括三个模块：人体手臂运动和力信息采集模块、控制映射模块和机器人控制模块。人体手臂运动和力信息采集模块使用惯性测量单元（IMU）和表面肌电臂环（sEMG）来获取操作者手臂的运动和肌肉活动信息。控制映射模块将采集到的信息转换为机器人的控制指令，包括位置、姿态和抓取力等。机器人控制模块根据控制指令控制机器人的运动和操作。此外，该框架还包含一个时间同步机制，以保证实时性。
关键创新：该方法的关键创新在于使用可穿戴传感器直接捕捉人体手臂的运动和力信息，避免了传统触觉设备在操作范围和自然性上的限制。同时，通过手臂增量运动学和抓取识别，实现了对机器人操作的精确控制。此外，该框架的时间同步机制保证了遥操作的实时性。
关键设计：手臂增量运动学部分，通过IMU数据计算手臂的运动增量，并将其映射到机器人的运动增量上。抓取识别部分，通过sEMG数据识别操作者的抓取意图，并控制机器人的夹爪。时间同步机制采用网络时间协议（NTP）进行时间同步，保证各个模块之间的时间一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，与传统的触觉设备（Omega 7）相比，该界面在任务完成时间和成功率方面具有竞争力。在自由运动、交接和拾取放置三个任务中，该界面在操作体验方面明显优于Omega 7，NASA任务负荷指数更低，表明操作者在使用该界面时感觉更轻松。
🎯 应用场景
该研究成果可应用于各种需要远程操作的场景，例如危险环境下的救援、太空探索、医疗手术等。通过该界面，操作者可以在安全舒适的环境下，远程控制机器人完成复杂的任务，提高工作效率和安全性。未来，该技术还可以与虚拟现实技术相结合，为操作者提供更加沉浸式的遥操作体验。
📄 摘要（原文）
Teleoperation can transfer human perception and cognition to a slave robot to cope with some complex tasks, in which the agility and flexibility of the interface play an important role in mapping human intention to the robot. In this paper, we developed an agile large-workspace teleoperation interface by estimating human arm behavior. Using the wearable sensor, namely the inertial measurement unit and surface electromyography armband, we can capture the human arm motion and force information, thereby intuitively controlling the manipulation of the robot. The control principle of our wearable interface includes two parts: (1) the arm incremental kinematics and (2) the grasping recognition. Moreover, we developed a teleoperation framework with a time synchronization mechanism for the real-time application. We conducted experimental comparisons with a versatile haptic device (Omega 7) to verify the effectiveness of our interface and framework. Seven subjects are invited to complete three different tasks: free motion, handover, and pick-and-place action (each task ten times), and the total number of tests is 420. Objectively, we used the task completion time and success rate to compare the performance of the two interfaces quantitatively. In addition, to quantify the operator experience, we used the NASA Task Load Index to assess their subjective feelings. The results showed that the proposed interface achieved a competitive performance with a better operating experience.