Universal Humanoid Motion Representations for Physics-Based Control
作者: Zhengyi Luo, Jinkun Cao, Josh Merel, Alexander Winkler, Jing Huang, Kris Kitani, Weipeng Xu
分类: cs.CV, cs.GR, cs.RO
发布日期: 2023-10-06 (更新: 2024-04-12)
备注: ICLR 2024 Spotlight. Project page: https://zhengyiluo.github.io/PULSE/
💡 一句话要点
提出通用人形运动表示以解决物理基础控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动表示 强化学习 运动模仿 物理基础控制 技能提炼 多样性生成
📋 核心要点
- 现有方法主要集中在狭窄的运动风格上，限制了其在复杂任务中的适用性。
- 提出通过学习一个运动模仿器来模仿所有人类运动，并从中提炼技能以扩展运动表示空间。
- 通过在分层强化学习中使用该潜在空间，展示了人类般的行为解决生成任务的能力。
📝 摘要（中文）
本文提出了一种通用的运动表示，涵盖了广泛的运动技能，以实现基于物理的人形控制。由于人形机器人的高维特性及强化学习的固有困难，现有方法往往仅关注于从特定运动数据集中学习狭窄范围的技能嵌入。这种局限性妨碍了其在复杂任务中的应用。为此，本文通过学习一个能够模仿所有人类运动的运动模仿器，并从中提炼技能，显著扩展了运动表示空间。通过联合学习以本体感知为条件的先验，提升了模型的表现力和采样效率。最终，利用该潜在空间进行分层强化学习，展示了人类般的行为解决任务的能力。
🔬 方法详解
问题定义：本文旨在解决现有方法在高维人形机器人控制中对运动技能表示的局限性，尤其是在复杂任务中的应用不足。现有方法通常依赖于特定运动数据集，导致技能嵌入范围狭窄。
核心思路：论文的核心思路是通过学习一个能够模仿所有人类运动的运动模仿器，进而提炼出丰富的运动技能表示。这种设计旨在提升运动表示的覆盖范围，以适应更复杂的控制任务。
技术框架：整体架构包括两个主要模块：首先是运动模仿器，它从大规模非结构化运动数据集中学习人类运动；其次是技能提炼模块，使用编码器-解码器结构和变分信息瓶颈来生成运动表示。
关键创新：最重要的技术创新在于通过运动模仿器的学习和技能提炼，显著扩展了运动表示空间，解决了现有方法在复杂任务中的适用性问题。与传统方法相比，本文的方法能够生成更长、更稳定且多样化的人类运动。
关键设计：在模型设计中，采用了编码器-解码器结构，并引入了变分信息瓶颈以提高信息压缩效率。同时，联合学习以本体感知为条件的先验，增强了模型的表现力和采样效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，利用该运动表示进行分层强化学习的策略能够成功解决多种生成任务，如击打和地形穿越，表现出人类般的行为。与基线方法相比，生成的运动在稳定性和多样性上有显著提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、虚拟现实和游戏开发等。通过提供更丰富的运动表示，可以实现更自然的人形机器人交互和复杂任务执行，推动人形机器人在实际场景中的应用和发展。
📄 摘要（原文）
We present a universal motion representation that encompasses a comprehensive range of motor skills for physics-based humanoid control. Due to the high dimensionality of humanoids and the inherent difficulties in reinforcement learning, prior methods have focused on learning skill embeddings for a narrow range of movement styles (e.g. locomotion, game characters) from specialized motion datasets. This limited scope hampers their applicability in complex tasks. We close this gap by significantly increasing the coverage of our motion representation space. To achieve this, we first learn a motion imitator that can imitate all of human motion from a large, unstructured motion dataset. We then create our motion representation by distilling skills directly from the imitator. This is achieved by using an encoder-decoder structure with a variational information bottleneck. Additionally, we jointly learn a prior conditioned on proprioception (humanoid's own pose and velocities) to improve model expressiveness and sampling efficiency for downstream tasks. By sampling from the prior, we can generate long, stable, and diverse human motions. Using this latent space for hierarchical RL, we show that our policies solve tasks using human-like behavior. We demonstrate the effectiveness of our motion representation by solving generative tasks (e.g. strike, terrain traversal) and motion tracking using VR controllers.