A Laser-guided Interaction Interface for Providing Effective Robot Assistance to People with Upper Limbs Impairments
作者: Davide Torielli, Liana Bertoni, Luca Muratore, Nikos Tsagarakis
分类: cs.RO
发布日期: 2025-03-20
备注: 8 pages, 12 figures
期刊: IEEE Robotics and Automation Letters, vol. 9, no. 9, pp. 7653-7660, Sept. 2024
💡 一句话要点
提出一种激光引导人机交互界面，辅助上肢障碍人士进行机器人操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 人机交互 机器人辅助 上肢障碍 激光引导 视觉伺服
📋 核心要点
- 现有机器人辅助系统在人机交互方面存在不足，难以满足上肢障碍人士的精细操作需求。
- 该论文提出了一种基于激光引导的交互界面，用户通过头部控制激光指向目标，直观引导机器人。
- 实验结果表明，该界面能够有效辅助上肢障碍人士完成需要双手协作的日常操作任务。
📝 摘要（中文）
本研究提出了一种人机交互界面，旨在帮助上肢功能障碍人士（如中风患者）更好地参与日常生活。该界面利用视觉伺服引导组件，采用低成本但有效的激光发射器。用户通过将激光投射到机器人工作空间内的表面上，引导机器人机械臂到达所需位置，从而实现物体的抓取和操作。考虑到目标用户，激光发射器佩戴在头部，用户通过头部运动直观地控制机器人运动，激光投射的位置由基于神经网络的感知模块检测。该界面实现了两种控制模式：直接选择特定位置，命令机器人到达；使用纸质键盘，通过激光指向虚拟按钮来直接控制末端执行器的笛卡尔速度，并提供额外的功能，如控制夹爪动作。该界面在一系列操作任务中进行了评估，涉及配备1自由度喙状夹爪的6自由度辅助机器人机械臂。两种界面模式相结合，成功完成了需要双手协作的任务，这类任务通常是上肢功能障碍人士的难点。
🔬 方法详解
问题定义：该论文旨在解决上肢功能障碍人士在日常生活中难以独立完成精细操作的问题。现有的人机交互方式，如传统的摇杆或触摸屏，对于上肢控制能力受限的人来说操作困难，无法实现精准控制。因此，需要一种更直观、更易于使用的交互方式，使他们能够有效地控制机器人完成诸如抓取、放置等任务。
核心思路：该论文的核心思路是利用激光作为用户与机器人之间的桥梁。用户通过头部佩戴的激光发射器指向目标位置，机器人通过视觉伺服系统跟踪激光点，从而实现对机器人的直观控制。这种方式利用了用户残存的头部运动能力，避免了对上肢的过度依赖，降低了操作难度。
技术框架：该系统的整体架构包括以下几个主要模块：1) 激光发射器：佩戴在用户头部，用于发射激光束。2) 视觉感知模块：基于神经网络，用于检测激光点在机器人工作空间中的位置。3) 机器人控制模块：根据激光点的位置，控制机器人机械臂运动到目标位置。4) 交互界面：提供两种控制模式，一种是直接选择目标位置，另一种是通过虚拟键盘控制末端执行器的速度和夹爪动作。整个流程是：用户移动头部，激光点投射到目标位置，视觉感知模块检测到激光点，机器人控制模块驱动机械臂到达目标位置，用户通过虚拟键盘进行精细调整和操作。
关键创新：该论文的关键创新在于将激光引导与视觉伺服相结合，构建了一种直观、易用的机器人交互界面。与传统的交互方式相比，该方法利用了用户头部运动的自然性，降低了操作难度，提高了控制精度。此外，基于神经网络的视觉感知模块能够准确地检测激光点的位置，保证了系统的稳定性和可靠性。
关键设计：该系统的一个关键设计是采用了两种控制模式。直接位置选择模式适用于粗略的目标定位，而虚拟键盘控制模式则适用于精细的调整和操作。虚拟键盘的设计考虑了用户的操作习惯，将常用的控制功能（如速度控制、夹爪控制）集成到键盘上，方便用户快速访问。此外，神经网络的结构和训练数据对视觉感知模块的性能至关重要，但论文中未详细描述，属于未知细节。
🖼️ 关键图片
📊 实验亮点
该论文通过一系列操作任务验证了所提出界面的有效性。实验结果表明，该界面能够成功辅助上肢障碍人士完成需要双手协作的任务，例如将物体从一个位置移动到另一个位置。虽然论文中没有提供具体的性能数据和对比基线，但实验结果表明该界面具有良好的可用性和操作性，能够显著提高上肢障碍人士的独立生活能力。
🎯 应用场景
该研究成果可应用于家庭护理、康复训练等领域，帮助上肢功能障碍人士更好地参与日常生活，提高生活质量。例如，机器人可以辅助患者完成进食、穿衣、取物等任务，减轻护理人员的负担。未来，该技术有望与语音识别、手势识别等技术相结合，构建更加智能、更加人性化的人机交互系统。
📄 摘要（原文）
Robotics has shown significant potential in assisting people with disabilities to enhance their independence and involvement in daily activities. Indeed, a societal long-term impact is expected in home-care assistance with the deployment of intelligent robotic interfaces. This work presents a human-robot interface developed to help people with upper limbs impairments, such as those affected by stroke injuries, in activities of everyday life. The proposed interface leverages on a visual servoing guidance component, which utilizes an inexpensive but effective laser emitter device. By projecting the laser on a surface within the workspace of the robot, the user is able to guide the robotic manipulator to desired locations, to reach, grasp and manipulate objects. Considering the targeted users, the laser emitter is worn on the head, enabling to intuitively control the robot motions with head movements that point the laser in the environment, which projection is detected with a neural network based perception module. The interface implements two control modalities: the first allows the user to select specific locations directly, commanding the robot to reach those points; the second employs a paper keyboard with buttons that can be virtually pressed by pointing the laser at them. These buttons enable a more direct control of the Cartesian velocity of the end-effector and provides additional functionalities such as commanding the action of the gripper. The proposed interface is evaluated in a series of manipulation tasks involving a 6DOF assistive robot manipulator equipped with 1DOF beak-like gripper. The two interface modalities are combined to successfully accomplish tasks requiring bimanual capacity that is usually affected in people with upper limbs impairments.