Learning Reusable Hybrid Motion Priors for Humanoid Locomotion from Motion Imitation
作者: Valerio Belli, Valerio Modugno, Enrico Mingo Hoffman, Fabio Amadio
分类: cs.LG, cs.RO
发布日期: 2026-07-27
💡 一句话要点
提出可重用的混合运动先验以解决类人机器人运动控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 类人机器人 运动模仿 强化学习 运动控制 蒸馏训练 混合运动先验 速度跟踪 目标导航
📋 核心要点
- 现有的强化学习方法在每个新任务上都需独立训练，导致效率低下和重复工作。
- 提出的三阶段流程将运动模仿技能转化为可重用的混合运动先验，提升了策略的通用性。
- 实验结果显示，该方法在速度跟踪、目标导航和跌倒恢复等任务中表现优异，且在真实机器人上成功应用。
📝 摘要（中文）
强化学习能够生成稳健的类人控制器，但每个新任务通常需要单独训练策略，且各自的奖励设计和训练过程不同。运动模仿提供了一种替代的运动能力来源，通过训练策略跟踪重定向的人类动作。然而，结果控制器仍然是参考跟踪器，无法直接用作任务策略。本文提出了一个三阶段流程，将运动模仿技能转化为可重用的混合运动先验（HMP）用于类人运动。首先，训练专家策略模仿重定向的人类动作捕捉片段；其次，将专家蒸馏为一个冻结架构，包括本体感知编码器、残差向量量化（RVQ）代码本和动作解码器；最后，训练任务级策略，通过选择离散代码本条目来解决运动任务，同时HMP保持冻结。我们在仿真中评估了该方法，并在真实的Unitree G1机器人上部署了速度跟踪策略。
🔬 方法详解
问题定义：本文旨在解决类人机器人在不同运动任务中策略训练的低效问题。现有的强化学习方法需要为每个任务单独设计奖励和训练流程，导致重复性工作和资源浪费。
核心思路：论文提出的三阶段流程通过将运动模仿技能转化为混合运动先验（HMP），使得这些技能可以在不同任务中重用，从而提高训练效率和策略的通用性。
技术框架：整体架构包括三个主要阶段：第一阶段训练专家策略以模仿重定向的人类动作；第二阶段将专家策略蒸馏为一个冻结的网络架构，包含本体感知编码器、RVQ代码本和动作解码器；第三阶段则是训练任务级策略，通过选择离散代码本条目来解决具体的运动任务。
关键创新：最重要的创新在于提出了可重用的混合运动先验（HMP），该方法允许在不同的下游运动策略中使用相同的运动技能，而无需重新训练。与现有方法相比，HMP提供了更高的灵活性和效率。
关键设计：在蒸馏过程中，采用了残差向量量化（RVQ）技术，构建了一个可解释的代码本结构，调节可用的步态模式。此外，使用旋转技巧训练代码本，改善了潜在组织，减少了下游任务中的跌倒风险。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在速度跟踪、目标导航和跌倒恢复任务中均表现出色，尤其是在速度跟踪任务中，成功率显著高于基线方法，且在真实Unitree G1机器人上的应用验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括类人机器人、自动驾驶、以及人机交互等场景。通过提供可重用的运动先验，能够显著提高机器人在复杂环境中的运动能力和适应性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Reinforcement learning can produce robust humanoid controllers, but each new task is typically trained as a separate policy with its own reward design and training process. Motion imitation provides an alternative source of motor competence by training policies to track retargeted human motions, yet the resulting controllers remain reference trackers and are not directly usable as task policies. We propose a three-stage pipeline that turns motion-imitation skills into a reusable hybrid motion prior (HMP) for humanoid locomotion. First, an expert policy is trained to imitate retargeted human motion-capture clips. Second, the expert is distilled into a frozen architecture composed of a proprioceptive encoder, a residual vector-quantized (RVQ) codebook, and an action decoder. Third, task-level policies are trained to solve locomotion tasks by selecting discrete codebook entries while the HMP remains frozen. We evaluate the method on velocity tracking, point-goal navigation, and fall-recovery velocity tracking in simulation, and deploy the velocity-tracking policy on a real Unitree G1 robot. The distillation process preserves the tracking behavior of the expert, while the resulting HMP can be reused without retraining as the action interface for different downstream locomotion policies. The learned HMP reveals an interpretable codebook structure in which the number of active RVQ stages modulates the available gait patterns. We further show that training the codebook with the rotation trick improves latent organization and reduces downstream falls compared with a standard straight-through estimator.