OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning

📄 arXiv: 2406.08858v1 📥 PDF

作者: Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, Guanya Shi

分类: cs.RO, cs.CV, cs.LG, eess.SY

发布日期: 2024-06-13

备注: Project page: https://omni.human2humanoid.com/

💡 一句话要点

OmniH2O：基于学习的通用灵巧人型机器人全身遥操作与自主系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人型机器人 全身控制 遥操作 模仿学习 强化学习 sim-to-real 通用控制接口

📋 核心要点

  1. 现有的人型机器人全身控制方法在通用性、灵巧性和自主性方面存在挑战，难以适应复杂多变的环境。
  2. OmniH2O系统利用运动学姿态作为通用控制接口，结合多种人机交互方式和模仿学习，实现了人型机器人的全身遥操作和自主控制。
  3. 通过sim-to-real的强化学习流程，OmniH2O在多种真实世界的全身任务中展现了出色的通用性和灵巧性，并发布了相关数据集。

📝 摘要（中文）

本文提出OmniH2O，一个基于学习的人型机器人全身遥操作与自主系统。OmniH2O使用运动学姿态作为通用控制接口，支持人类通过多种方式控制具有灵巧手的全尺寸人型机器人，包括使用VR头显进行实时遥操作、语音指令和RGB相机。OmniH2O还支持通过学习遥操作演示或集成GPT-4等前沿模型来实现完全自主。OmniH2O通过遥操作或自主方式，在各种现实世界的全身任务中展示了通用性和灵巧性，例如进行多种运动、移动和操纵物体以及与人类互动。我们开发了一个基于强化学习的sim-to-real流程，包括大规模的人类运动数据集重定向和增强，通过模仿特权教师策略学习一个具有稀疏传感器输入的真实世界可部署策略，以及增强鲁棒性和稳定性的奖励设计。我们发布了第一个人型机器人全身控制数据集OmniH2O-6，其中包含六个日常任务，并展示了从遥操作数据集学习人型机器人全身技能。

🔬 方法详解

问题定义：现有人型机器人全身控制方法通常依赖于特定的传感器和环境，通用性不足。同时，在复杂任务中，机器人难以实现灵巧的操作和自主决策。如何让人型机器人能够像人类一样，通过多种方式进行控制，并在真实世界中完成各种任务，是一个重要的挑战。

核心思路：OmniH2O的核心思路是将人类的运动学姿态作为通用控制接口，通过多种人机交互方式（VR、语音、RGB相机）将人类的意图传递给机器人。同时，利用模仿学习和强化学习，使机器人能够从人类的演示中学习技能，并最终实现自主控制。这种设计使得机器人能够适应不同的控制方式和环境，提高了通用性和灵活性。

技术框架：OmniH2O系统主要包含以下几个模块：1) 人机交互模块：负责接收来自人类的控制信号，包括VR头显、语音指令和RGB相机等。2) 运动学姿态转换模块：将人类的控制信号转换为机器人的运动学姿态。3) 模仿学习模块：利用人类的演示数据训练机器人，使其能够模仿人类的动作。4) 强化学习模块：通过sim-to-real的强化学习流程，提高机器人在真实世界中的鲁棒性和稳定性。5) 机器人控制模块：根据学习到的策略控制机器人执行任务。

关键创新：OmniH2O最重要的技术创新点在于其通用控制接口和sim-to-real的强化学习流程。通用控制接口使得机器人能够接受来自多种来源的控制信号，提高了通用性。sim-to-real的强化学习流程则解决了机器人从仿真环境到真实环境的迁移问题，提高了机器人在真实世界中的鲁棒性和稳定性。

关键设计：在sim-to-real的强化学习流程中，采用了大规模的人类运动数据集重定向和增强，以提高训练数据的多样性。同时，通过模仿特权教师策略，学习一个具有稀疏传感器输入的真实世界可部署策略。此外，还设计了增强鲁棒性和稳定性的奖励函数，例如惩罚过度运动和不稳定的姿态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OmniH2O在多个真实世界的全身任务中取得了显著成果，例如在运动任务中，机器人能够完成多种运动动作，包括投掷、踢球等。在物体操纵任务中，机器人能够移动和操纵各种物体，例如拿起水杯、打开抽屉等。此外，OmniH2O还发布了包含六个日常任务的人型机器人全身控制数据集OmniH2O-6，为相关研究提供了宝贵的数据资源。

🎯 应用场景

OmniH2O具有广泛的应用前景，例如在危险环境下的远程操作、医疗辅助、家庭服务等领域。通过该系统，人类可以远程控制人型机器人完成各种复杂任务，从而减少人类的风险和负担。未来，OmniH2O有望成为人机协作的重要工具，促进人型机器人在各个领域的应用。

📄 摘要（原文）

We present OmniH2O (Omni Human-to-Humanoid), a learning-based system for whole-body humanoid teleoperation and autonomy. Using kinematic pose as a universal control interface, OmniH2O enables various ways for a human to control a full-sized humanoid with dexterous hands, including using real-time teleoperation through VR headset, verbal instruction, and RGB camera. OmniH2O also enables full autonomy by learning from teleoperated demonstrations or integrating with frontier models such as GPT-4. OmniH2O demonstrates versatility and dexterity in various real-world whole-body tasks through teleoperation or autonomy, such as playing multiple sports, moving and manipulating objects, and interacting with humans. We develop an RL-based sim-to-real pipeline, which involves large-scale retargeting and augmentation of human motion datasets, learning a real-world deployable policy with sparse sensor input by imitating a privileged teacher policy, and reward designs to enhance robustness and stability. We release the first humanoid whole-body control dataset, OmniH2O-6, containing six everyday tasks, and demonstrate humanoid whole-body skill learning from teleoperated datasets.