Isaac Sim-to-Real: Reinforcement Learning based Locomotion for Quadrupeds

📄 arXiv: 2607.18135v1 📥 PDF

作者: Jordan Dowdy, Jean Chagas Vaz

分类: cs.RO

发布日期: 2026-07-20

备注: 6 pages, 5 figures. Accepted manuscript. Published in the 2025 IEEE 21st International Conference on Automation Science and Engineering (CASE), pp. 2194-2199

期刊: 2025 IEEE 21st International Conference on Automation Science and Engineering (CASE), pp. 2194-2199 (2025)

DOI: 10.1109/CASE58245.2025.11163761

💡 一句话要点

提出基于强化学习的四足机器人运动控制框架以解决仿真与现实间的差距

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 四足机器人 运动控制 仿真与现实 Isaac Sim 深度学习 自主导航

📋 核心要点

  1. 现有的强化学习方法在仿真环境中表现良好，但在实际应用中常常遭遇仿真与现实之间的差距，导致性能下降。
  2. 本文提出了一种基于Nvidia Isaac Sim的强化学习框架，能够实现四足机器人的全身控制，克服了仿真到现实的挑战。
  3. 实验结果表明，所提策略在Unitree Go1上实现了与集成控制器相似的速度跟踪性能，并在大扰动下表现出更强的恢复能力。

📝 摘要（中文）

近年来，基于学习的方法在运动控制领域的应用日益增多，展现出复杂的四足运动和全身控制能力。强化学习（RL）作为主要的学习方法，通常依赖高性能的仿真工具进行训练。然而，在实际系统中，仿真中表现良好的策略往往会面临意想不到的挑战，即仿真与现实之间的差距。本文提出了一种强健的RL运动控制框架，能够实现全身控制。该框架利用Nvidia的新仿真工具Isaac Sim及其伴随的RL框架Isaac Lab进行训练，成功实现了零-shot的仿真到现实策略。通过在Unitree Go1硬件上的实验验证，结果显示该策略在速度跟踪性能上与四足机器人的集成控制器相似，并且在应对大扰动时具有更强的恢复能力，能够达到2.0 m/s的线速度和1.8 rad/s的角速度。

🔬 方法详解

问题定义：本文旨在解决强化学习在四足机器人运动控制中面临的仿真与现实之间的差距问题。现有方法在仿真中表现良好，但在实际应用中常常无法有效迁移。

核心思路：提出了一种基于Nvidia Isaac Sim的强化学习框架，通过高效的仿真训练，生成能够在现实环境中有效工作的控制策略。设计上强调了零-shot学习能力，以减少对大量现实数据的依赖。

技术框架：整体架构包括仿真环境的构建、强化学习策略的训练和在物理硬件上的验证。主要模块包括Isaac Sim仿真工具、Isaac Lab RL框架和Unitree Go1硬件平台。

关键创新：最重要的创新在于实现了零-shot的仿真到现实策略，显著缩小了仿真与现实之间的性能差距。这一方法在训练过程中有效利用了高保真仿真环境。

关键设计：在参数设置上，采用了适应性学习率和多种损失函数以优化策略训练。网络结构上，使用了深度强化学习算法，结合了策略梯度和价值函数方法，以提高学习效率和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提策略在Unitree Go1上实现了与集成控制器相似的速度跟踪性能，线速度达到2.0 m/s，角速度达到1.8 rad/s。同时，该策略在应对大扰动时表现出更强的恢复能力，显示出其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和服务机器人等。通过提高四足机器人的运动控制能力，该框架能够在复杂环境中实现更高效的导航和任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Learning-based approaches to locomotion have risen in popularity in recent years, showing the capability for complex legged locomotion and whole-body control. Reinforcement learning (RL), the primary learning-based approach for locomotion, often utilizes a high-performance simulation tool, providing a controlled and efficient training and development environment. However, policies that perform well in simulation frequently encounter unexpected challenges when deployed on a physical system, known as the sim-to-real gap. This work presents a robust RL locomotion framework capable of whole-body control. The proposed RL framework utilizes Nvidia's new set of simulation tools, Isaac Sim, and its companion RL framework, Isaac Lab, for training, achieving a zero-shot sim-to-real policy. The performance of our policy is validated on physical hardware using the Unitree Go1, with experimental results showing similar velocity tracking performance to the quadruped's integrated controller, with a greater ability to recover from large disturbances, and achieve linear velocities of 2.0 m/s and angular velocities of 1.8 rad/s.