Learning Sim-to-Real Humanoid Locomotion in 15 Minutes

📄 arXiv: 2512.01996v1 📥 PDF

作者: Younggyo Seo, Carmelo Sferrazza, Juyue Chen, Guanya Shi, Rocky Duan, Pieter Abbeel

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-12-01

备注: Project website: https://younggyo.me/fastsac-humanoid

💡 一句话要点

提出FastSAC和FastTD3，15分钟内完成人形机器人Sim-to-Real强化学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 强化学习 Sim-to-Real 离策略学习 快速训练 领域随机化 运动控制

📋 核心要点

  1. 人形机器人控制面临高维度和领域随机化挑战，导致Sim-to-Real强化学习训练困难。
  2. 论文提出基于FastSAC和FastTD3的离策略RL方法，通过精细设计和极简奖励函数加速训练。
  3. 实验证明，该方法能在15分钟内完成人形机器人运动控制器的端到端学习，并具备良好的鲁棒性。

📝 摘要（中文）

大规模并行仿真已将机器人强化学习（RL）的训练时间从数天缩短到数分钟。然而，由于高维度和领域随机化等因素带来的挑战，实现快速可靠的人形机器人控制Sim-to-Real强化学习仍然很困难。本文介绍了一种基于离策略RL算法（即FastSAC和FastTD3）的简单而实用的方法，该方法仅需单个RTX 4090 GPU即可在短短15分钟内快速训练人形机器人运动策略。我们通过精心调整的设计选择和极简的奖励函数，在数千个并行环境中稳定了大规模的离策略RL算法。我们展示了在强领域随机化（例如，随机动力学、崎岖地形和推扰动）下，Unitree G1和Booster T1机器人上人形机器人运动控制器的快速端到端学习，以及全身人体运动跟踪策略的快速训练。我们提供了视频和开源实现：https://younggyo.me/fastsac-humanoid。

🔬 方法详解

问题定义：人形机器人运动控制的Sim-to-Real强化学习面临训练时间长、鲁棒性差的问题。现有方法难以在高维度状态空间和复杂的领域随机化条件下，快速有效地学习到稳定可靠的控制策略。痛点在于如何在保证控制性能的同时，显著缩短训练时间，并提高策略在真实环境中的泛化能力。

核心思路：论文的核心思路是利用大规模并行仿真和优化的离策略强化学习算法，加速人形机器人运动控制策略的训练过程。通过精心设计的奖励函数和领域随机化策略，提高策略的鲁棒性和泛化能力，从而实现快速的Sim-to-Real迁移。

技术框架：整体框架包括三个主要部分：1) 并行仿真环境：使用多个并行环境加速数据收集；2) 离策略强化学习算法：采用FastSAC和FastTD3算法进行策略学习；3) 领域随机化模块：对仿真环境的动力学参数、地形和外部扰动进行随机化，提高策略的鲁棒性。算法流程为：在并行仿真环境中收集数据，使用离策略算法更新策略，然后将策略部署到真实机器人上。

关键创新：最重要的技术创新点在于，通过对离策略强化学习算法的优化和精细的参数调整，使其能够在大规模并行仿真环境中稳定训练，并实现快速的Sim-to-Real迁移。与现有方法相比，该方法能够在更短的时间内学习到更鲁棒的控制策略。

关键设计：关键设计包括：1) 极简的奖励函数：采用简单的奖励函数，避免奖励塑造带来的问题；2) 精心调整的参数：对离策略算法的参数进行精细调整，以保证训练的稳定性；3) 大规模并行仿真：使用数千个并行环境加速数据收集；4) 强领域随机化：对仿真环境的动力学参数、地形和外部扰动进行大幅度的随机化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用FastSAC和FastTD3算法，仅需15分钟即可在单个RTX 4090 GPU上训练出稳定的人形机器人运动控制策略。在Unitree G1和Booster T1机器人上，该策略能够在强领域随机化条件下实现稳定行走，并能抵抗外部扰动。与传统的强化学习方法相比，训练时间大幅缩短，且策略的鲁棒性显著提高。

🎯 应用场景

该研究成果可广泛应用于人形机器人的运动控制、步态规划、人机交互等领域。快速的Sim-to-Real训练方法能够加速人形机器人在复杂环境中的部署和应用，例如搜救、物流、医疗等场景。此外，该方法也为其他类型机器人的强化学习训练提供了借鉴，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Massively parallel simulation has reduced reinforcement learning (RL) training time for robots from days to minutes. However, achieving fast and reliable sim-to-real RL for humanoid control remains difficult due to the challenges introduced by factors such as high dimensionality and domain randomization. In this work, we introduce a simple and practical recipe based on off-policy RL algorithms, i.e., FastSAC and FastTD3, that enables rapid training of humanoid locomotion policies in just 15 minutes with a single RTX 4090 GPU. Our simple recipe stabilizes off-policy RL algorithms at massive scale with thousands of parallel environments through carefully tuned design choices and minimalist reward functions. We demonstrate rapid end-to-end learning of humanoid locomotion controllers on Unitree G1 and Booster T1 robots under strong domain randomization, e.g., randomized dynamics, rough terrain, and push perturbations, as well as fast training of whole-body human-motion tracking policies. We provide videos and open-source implementation at: https://younggyo.me/fastsac-humanoid.