WoCoCo: Learning Whole-Body Humanoid Control with Sequential Contacts

📄 arXiv: 2406.06005v2 📥 PDF

作者: Chong Zhang, Wenli Xiao, Tairan He, Guanya Shi

分类: cs.RO, cs.GR, eess.SY

发布日期: 2024-06-10 (更新: 2024-11-07)

备注: Website, Code, and Videos: https://lecar-lab.github.io/wococo/

💡 一句话要点

WoCoCo：通过序列接触学习全身人形机器人控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 全身控制 强化学习 序列接触 人形机器人 任务分解

📋 核心要点

  1. 现有基于模型的运动规划方法在处理复杂接触序列的人形机器人控制时，计算成本高昂且依赖简化模型。
  2. WoCoCo框架通过将任务分解为独立的接触阶段，简化了强化学习策略的设计，并减少了任务特定的调整。
  3. 实验表明，WoCoCo在多种复杂任务中实现了有效的全身控制，包括跑酷、箱子操作、舞蹈和攀岩等，并成功应用于恐龙机器人。

📝 摘要（中文）

涉及序列接触的人形机器人活动对于现实世界中复杂的机器人交互和操作至关重要。传统上，这些问题通过基于模型的运动规划来解决，但这种方法耗时，并且通常依赖于简化的动力学模型。虽然无模型强化学习（RL）已成为多功能和鲁棒的全身人形机器人控制的强大工具，但它仍然需要繁琐的特定任务调整和状态机设计，并且在涉及接触序列的任务中存在长程探索问题。本文提出了WoCoCo（具有序列接触的全身控制），一个统一的框架，通过将任务自然地分解为单独的接触阶段来学习具有序列接触的全身人形机器人控制。这种分解通过任务无关的奖励和sim-to-real设计促进了简单而通用的策略学习流程，每个任务只需要指定一到两个与任务相关的项。我们证明了使用WoCoCo训练的基于端到端RL的控制器能够在现实世界中实现四个具有不同接触序列的具有挑战性的全身人形机器人任务，而无需任何运动先验：1）多功能跑酷跳跃，2）箱子定位操作，3）动态鼓掌和踢踏舞，以及4）悬崖攀登。我们进一步表明，WoCoCo是一个超越人形机器人的通用框架，通过将其应用于22自由度恐龙机器人定位操作任务。

🔬 方法详解

问题定义：论文旨在解决人形机器人全身控制中，涉及复杂接触序列的任务难以通过强化学习有效训练的问题。现有方法通常需要繁琐的任务特定调整和状态机设计，并且在长程探索中面临挑战。

核心思路：论文的核心思路是将复杂的任务分解为一系列独立的接触阶段。通过这种分解，可以为每个阶段设计更简单、更通用的奖励函数，从而简化策略学习过程，并减少对任务特定知识的依赖。

技术框架：WoCoCo框架主要包含以下几个阶段：首先，将任务分解为一系列接触阶段；然后，为每个阶段设计任务无关的奖励函数，鼓励智能体学习基本的运动技能；最后，使用强化学习算法训练端到端的控制器，使其能够根据当前状态选择合适的接触阶段，并执行相应的动作。

关键创新：WoCoCo的关键创新在于其任务分解的思想，以及由此带来的通用性和易用性。与传统的强化学习方法相比，WoCoCo不需要针对每个任务进行精细的调整，只需要指定少量的任务相关项即可。此外，WoCoCo还能够有效地解决长程探索问题，因为每个接触阶段的学习都是相对独立的。

关键设计：WoCoCo的关键设计包括：1) 任务分解策略，如何将复杂任务分解为合适的接触阶段；2) 奖励函数的设计，如何设计任务无关的奖励函数，鼓励智能体学习有用的运动技能；3) 强化学习算法的选择，如何选择合适的强化学习算法，有效地训练端到端的控制器。论文中使用了PPO算法进行训练，并采用了一种 curriculum learning 的策略，逐步增加任务的难度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WoCoCo框架在四个具有挑战性的全身人形机器人任务中取得了显著的成功，包括跑酷跳跃、箱子定位操作、动态鼓掌和踢踏舞以及悬崖攀登。这些任务涉及不同的接触序列和复杂的运动模式，证明了WoCoCo框架的通用性和有效性。此外，WoCoCo还成功应用于22自由度恐龙机器人定位操作任务，进一步验证了其泛化能力。

🎯 应用场景

WoCoCo框架具有广泛的应用前景，可用于开发各种复杂环境下的机器人控制系统，例如：灾难救援机器人、工业操作机器人、家庭服务机器人等。该框架能够显著降低机器人控制系统的开发难度，提高机器人的自主性和适应性，使其能够更好地完成各种任务。

📄 摘要（原文）

Humanoid activities involving sequential contacts are crucial for complex robotic interactions and operations in the real world and are traditionally solved by model-based motion planning, which is time-consuming and often relies on simplified dynamics models. Although model-free reinforcement learning (RL) has become a powerful tool for versatile and robust whole-body humanoid control, it still requires tedious task-specific tuning and state machine design and suffers from long-horizon exploration issues in tasks involving contact sequences. In this work, we propose WoCoCo (Whole-Body Control with Sequential Contacts), a unified framework to learn whole-body humanoid control with sequential contacts by naturally decomposing the tasks into separate contact stages. Such decomposition facilitates simple and general policy learning pipelines through task-agnostic reward and sim-to-real designs, requiring only one or two task-related terms to be specified for each task. We demonstrated that end-to-end RL-based controllers trained with WoCoCo enable four challenging whole-body humanoid tasks involving diverse contact sequences in the real world without any motion priors: 1) versatile parkour jumping, 2) box loco-manipulation, 3) dynamic clap-and-tap dancing, and 4) cliffside climbing. We further show that WoCoCo is a general framework beyond humanoid by applying it in 22-DoF dinosaur robot loco-manipulation tasks.