Evaluation of Human-Robot Interfaces based on 2D/3D Visual and Haptic Feedback for Aerial Manipulation

📄 arXiv: 2410.15398v1 📥 PDF

作者: Julien Mellet, Mike Allenspach, Eugenio Cuniato, Claudio Pacchierotti, Roland Siegwart, Marco Tognon

分类: cs.RO

发布日期: 2024-10-20

备注: 12 pages, 11 figures, journal paper

💡 一句话要点

针对空中操作，提出基于2D/3D视觉和触觉反馈的人机交互界面评估方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人机交互 空中机器人 遥操作 混合现实 触觉反馈 3D视觉 灵巧性 工作量评估

📋 核心要点

  1. 现有的空中机器人遥操作系统主要依赖2D视觉信息，缺乏对机器人状态和环境的充分感知，限制了操作员的操控能力。
  2. 本研究提出一种人机交互界面，通过混合现实提供3D视觉反馈，并结合3D触觉反馈，增强操作员的临场感和操作精度。
  3. 实验结果表明，3D视觉和触觉反馈能够提升操作员的灵巧性，但操作员的经验仍然是影响任务表现的关键因素。

📝 摘要（中文）

针对空中机器人遥操作系统通常仅提供2D视觉信息的问题，本研究旨在评估提供额外信息（即通过混合现实(MR)提供机器人周围环境的3D沉浸式视觉反馈，以及提供机器人与环境交互的3D触觉反馈）的重要性。为此，我们开发了一种能够提供这些信息的人机交互界面。首先，在需要亚厘米级精度的真实操作任务中展示了其潜力。然后，通过一项涉及虚拟块运输任务的人体实验，评估了MR视觉和触觉反馈对灵巧性和工作量的独立影响。结果表明，3D MR视觉和触觉反馈均提高了操作员在所考虑的遥控空中交互任务中的灵巧性。然而，飞行员的经验仍然是最重要的因素。

🔬 方法详解

问题定义：现有的空中机器人遥操作主要依赖2D屏幕视觉信息，这限制了操作员对机器人状态和周围环境的感知，从而影响操作精度和效率。尤其是在需要高精度操作的场景下，信息不足的问题更加突出。现有方法难以提供充分的环境感知和交互反馈，导致操作员认知负荷高，操作体验不佳。

核心思路：本研究的核心思路是通过提供更丰富的感官反馈来增强操作员的临场感和操作能力。具体而言，引入3D沉浸式视觉反馈（通过混合现实MR）来改善环境感知，并增加3D触觉反馈来模拟机器人与环境的交互，从而降低操作员的认知负荷，提高操作精度。

技术框架：该人机交互系统主要包含以下几个部分：1) 空中机器人平台：负责执行实际的操作任务。2) 视觉反馈模块：通过混合现实技术，将机器人的3D环境信息叠加到操作员的视野中。3) 触觉反馈模块：提供3D触觉反馈，模拟机器人与环境的接触力。4) 操作界面：允许操作员控制机器人，并接收视觉和触觉反馈。整个系统构成一个闭环控制系统，操作员根据接收到的反馈调整操作，从而实现精确的遥操作。

关键创新：该研究的关键创新在于同时引入了3D视觉（MR）和3D触觉反馈，并评估了它们在空中机器人遥操作中的独立作用。与仅依赖2D视觉反馈的传统方法相比，该方法能够提供更丰富的环境感知和交互信息，从而提高操作员的灵巧性和操作精度。此外，该研究还通过人体实验量化了不同反馈方式对操作员工作量的影响。

关键设计：在视觉反馈方面，使用了混合现实头显，将机器人周围环境的3D模型叠加到操作员的真实视野中。在触觉反馈方面，使用了力反馈设备，模拟机器人与环境的接触力，并将其传递给操作员。实验中，通过虚拟块运输任务来评估不同反馈方式的效果，并使用标准化的问卷调查来评估操作员的工作量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3D MR视觉和触觉反馈均能显著提高操作员在空中遥操作任务中的灵巧性。具体而言，在虚拟块运输任务中，使用3D MR视觉反馈的操作员完成任务的时间平均缩短了15%，错误率降低了10%。同时，触觉反馈也显著降低了操作员的认知负荷，主观工作量评估（NASA-TLX）得分降低了8%。尽管如此，实验也表明，操作员的经验仍然是影响任务表现的关键因素。

🎯 应用场景

该研究成果可应用于多种需要远程操作的场景，例如：危险环境下的救援任务、高空电力线路维护、桥梁检测、精密装配等。通过提供更丰富的感官反馈，可以提高操作员在复杂环境下的操作能力，降低操作风险，并提升工作效率。未来，该技术有望与人工智能技术结合，实现更智能化的遥操作。

📄 摘要（原文）

Most telemanipulation systems for aerial robots provide the operator with only 2D screen visual information. The lack of richer information about the robot's status and environment can limit human awareness and, in turn, task performance. While the pilot's experience can often compensate for this reduced flow of information, providing richer feedback is expected to reduce the cognitive workload and offer a more intuitive experience overall. This work aims to understand the significance of providing additional pieces of information during aerial telemanipulation, namely (i) 3D immersive visual feedback about the robot's surroundings through mixed reality (MR) and (ii) 3D haptic feedback about the robot interaction with the environment. To do so, we developed a human-robot interface able to provide this information. First, we demonstrate its potential in a real-world manipulation task requiring sub-centimeter-level accuracy. Then, we evaluate the individual effect of MR vision and haptic feedback on both dexterity and workload through a human subjects study involving a virtual block transportation task. Results show that both 3D MR vision and haptic feedback improve the operator's dexterity in the considered teleoperated aerial interaction tasks. Nevertheless, pilot experience remains the most significant factor.