HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit
作者: Qingwei Ben, Feiyu Jia, Jia Zeng, Junting Dong, Dahua Lin, Jiangmiao Pang
分类: cs.RO, cs.AI, cs.HC
发布日期: 2025-02-18 (更新: 2025-04-28)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
HOMIE：基于同构外骨骼驾驶舱的人形机器人全身协同遥操作系统
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人形机器人 遥操作 强化学习 外骨骼 运动捕捉 全身协同 人机交互 机器人控制
📋 核心要点
- 人形机器人全身协同操作面临挑战，需要协调全身控制和精确的、富含接触的物体操作。
- HOMIE系统通过结合强化学习策略、同构外骨骼臂和运动传感手套，实现对人形机器人的半自主遥操作。
- 实验表明，HOMIE系统效率更高、工作范围更大且成本更低，任务完成时间缩短一半，成本仅为500美元。
📝 摘要（中文）
本文提出了一种半自主遥操作系统HOMIE，用于解决通用人形机器人全身协同操作的难题。该系统结合了用于身体控制的强化学习策略（映射到脚踏板）、用于手臂控制的同构外骨骼臂以及用于手部控制的运动传感手套，形成一个统一的驾驶舱，以自由操作人形机器人并建立数据飞轮。该策略包含新颖的设计，包括上半身姿势课程学习、高度跟踪奖励和对称性利用，使系统能够在行走和蹲伏到特定高度的同时无缝适应任意上半身姿势。外骨骼通过消除对逆动力学的依赖，实现了更快、更精确的手臂控制。手套采用霍尔传感器代替伺服电机，即使是紧凑型设备也能实现15个或更多的自由度，并自由适应任何灵巧手模型。与以往的遥操作系统相比，HOMIE具有卓越的效率（任务完成时间缩短一半）、更大的工作范围（允许用户自由到达高处和低处以及与任何物体交互）以及经济性（成本仅为500美元）等优点。该系统完全开源，演示和代码可在https://homietele.github.io/找到。
🔬 方法详解
问题定义：现有的人形机器人全身协同操作系统难以实现高效、大范围和低成本的遥操作。传统的遥操作系统通常依赖于复杂的逆动力学计算，导致控制延迟和精度下降。此外，现有系统的工作范围受限，难以实现对高处和低处物体的操作。最后，一些系统成本高昂，难以普及应用。
核心思路：HOMIE系统的核心思路是将人形机器人的全身控制分解为三个部分：腿部控制、手臂控制和手部控制，并分别采用不同的控制方式。腿部控制采用强化学习策略，手臂控制采用同构外骨骼臂，手部控制采用运动传感手套。通过这种方式，可以充分利用各种控制方式的优点，实现高效、精确和低成本的遥操作。
技术框架：HOMIE系统主要由三个模块组成：1) 腿部控制模块：使用强化学习策略控制人形机器人的腿部运动，实现行走和蹲伏等动作。2) 手臂控制模块：使用同构外骨骼臂控制人形机器人的手臂运动，实现精确的物体操作。3) 手部控制模块：使用运动传感手套控制人形机器人的手部运动，实现灵巧的抓取和操作。这三个模块通过一个统一的驾驶舱进行集成，用户可以通过驾驶舱自由操作人形机器人。
关键创新：HOMIE系统的关键创新在于以下几个方面：1) 提出了一种基于强化学习的腿部控制策略，该策略能够实现行走和蹲伏等动作，并能够适应任意上半身姿势。2) 采用同构外骨骼臂进行手臂控制，避免了复杂的逆动力学计算，提高了控制效率和精度。3) 采用运动传感手套进行手部控制，实现了灵巧的抓取和操作。
关键设计：在腿部控制模块中，采用了上半身姿势课程学习、高度跟踪奖励和对称性利用等技术，提高了强化学习策略的训练效率和泛化能力。在外骨骼臂的设计中，采用了同构结构，保证了操作者和机器人手臂之间的运动映射关系。在手套的设计中，采用了霍尔传感器代替伺服电机，降低了成本和体积，并提高了灵活性。
🖼️ 关键图片
📊 实验亮点
HOMIE系统在效率、工作范围和成本方面均优于以往的遥操作系统。实验结果表明，HOMIE系统完成任务的时间缩短了一半，并且能够实现对高处和低处物体的操作。此外，HOMIE系统的成本仅为500美元，远低于以往的遥操作系统。
🎯 应用场景
HOMIE系统具有广泛的应用前景，例如在危险环境下的远程操作、医疗康复、工业自动化等领域。通过HOMIE系统，操作人员可以在安全的环境下远程控制人形机器人完成各种任务，例如在核电站进行检修、在灾区进行救援、在医院进行手术等。此外，HOMIE系统还可以用于医疗康复领域，帮助患者进行肢体康复训练。在工业自动化领域，HOMIE系统可以用于实现更加灵活和智能的生产线。
📄 摘要（原文）
Generalizable humanoid loco-manipulation poses significant challenges, requiring coordinated whole-body control and precise, contact-rich object manipulation. To address this, this paper introduces HOMIE, a semi-autonomous teleoperation system that combines a reinforcement learning policy for body control mapped to a pedal, an isomorphic exoskeleton arm for arm control, and motion-sensing gloves for hand control, forming a unified cockpit to freely operate humanoids and establish a data flywheel. The policy incorporates novel designs, including an upper-body pose curriculum, a height-tracking reward, and symmetry utilization. These features enable the system to perform walking and squatting to specific heights while seamlessly adapting to arbitrary upper-body poses. The exoskeleton, by eliminating the reliance on inverse dynamics, delivers faster and more precise arm control. The gloves utilize Hall sensors instead of servos, allowing even compact devices to achieve 15 or more degrees of freedom and freely adapt to any model of dexterous hands. Compared to previous teleoperation systems, HOMIE stands out for its exceptional efficiency, completing tasks in half the time; its expanded working range, allowing users to freely reach high and low areas as well as interact with any objects; and its affordability, with a price of just $500. The system is fully open-source, demos and code can be found in our https://homietele.github.io/.