Sim-to-Real Transfer for Mobile Robots with Reinforcement Learning: from NVIDIA Isaac Sim to Gazebo and Real ROS 2 Robots

📄 arXiv: 2501.02902v1 📥 PDF

作者: Sahar Salimpour, Jorge Peña-Queralta, Diego Paez-Granados, Jukka Heikkonen, Tomi Westerlund

分类: cs.RO, cs.LG

发布日期: 2025-01-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于NVIDIA Isaac Sim的强化学习方法，实现移动机器人在ROS 2上的零样本迁移。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 移动机器人 Sim-to-Real NVIDIA Isaac Sim ROS 2 局部规划 零样本迁移

📋 核心要点

  1. 现有基于本体感受的强化学习策略研究较多，但基于外部感受的方法缺乏标准化和可复现性。
  2. 利用NVIDIA Isaac Sim训练强化学习策略，实现移动机器人的局部规划和避障功能。
  3. 实验证明，该方法在仿真和真实机器人上均表现出良好的性能，并具备零样本迁移能力。

📝 摘要（中文）

本文重点在于展示NVIDIA Isaac Sim在移动机器人局部规划和避障中的应用。尽管基于本体感受的强化学习策略已有大量研究，但本文强调了较少标准化和可复现的基于外部感受的方法。本文旨在为端到端局部导航策略提供一个基础框架，并展示如何在仿真环境中训练自定义机器人。通过与最先进的ROS导航堆栈Nav2进行基准测试，验证了端到端策略的性能。此外，本文还展示了策略从Isaac模拟器到真实世界机器人的零样本迁移能力，并通过不同模拟机器人的测试，证明了学习策略的泛化性。基准测试表明，该方法性能与Nav2相当，为快速部署最先进的端到端局部规划器提供了可能，并扩展了状态和动作空间，为更复杂的任务定义提供了可能性。本文介绍了使用Isaac Sim进行训练、Gazebo进行测试以及ROS 2进行实时推理，从而为局部路径规划和避障部署强化学习策略的最重要步骤和需要考虑的方面。

🔬 方法详解

问题定义：本文旨在解决移动机器人在复杂环境中进行局部路径规划和避障的问题。现有方法，如传统的导航堆栈Nav2，在面对动态环境和复杂任务时，可能难以快速适应和优化。强化学习方法虽然潜力巨大，但从仿真到真实环境的迁移（Sim-to-Real）仍然是一个挑战，尤其是在外部感受方面，缺乏标准化的可复现方法。

核心思路：本文的核心思路是利用NVIDIA Isaac Sim强大的仿真能力，训练一个基于强化学习的端到端局部导航策略。该策略直接从外部传感器（如摄像头或激光雷达）获取信息，并输出机器人的运动控制指令。通过在仿真环境中进行大量的训练，使策略能够学习到适应各种复杂环境的导航能力，并最终实现零样本迁移到真实机器人。

技术框架：整体框架包括三个主要部分：1) 在NVIDIA Isaac Sim中构建机器人和环境的仿真模型，并设计强化学习的奖励函数和状态空间；2) 使用强化学习算法（具体算法未知）在仿真环境中训练导航策略；3) 将训练好的策略部署到真实机器人上，并使用ROS 2进行实时推理和控制。Gazebo被用作中间测试平台，验证策略的有效性。

关键创新：本文的关键创新在于实现了基于Isaac Sim训练的强化学习策略到真实机器人的零样本迁移。这得益于Isaac Sim的高逼真度仿真环境，以及对外部感受信息的有效利用。此外，本文还提供了一个端到端的框架，方便研究人员快速部署和测试自己的强化学习导航策略。

关键设计：论文中未明确说明具体的强化学习算法、网络结构、损失函数和参数设置。但是，可以推断，状态空间可能包括来自外部传感器的信息（如激光雷达点云或图像），动作空间可能包括机器人的速度和转向角。奖励函数的设计对于训练出有效的导航策略至关重要，可能包括奖励机器人接近目标、避开障碍物等。

🖼️ 关键图片

img_0

📊 实验亮点

本文通过实验证明了基于Isaac Sim训练的强化学习策略可以成功地零样本迁移到真实机器人上。实验结果表明，该策略在真实环境中的性能与传统的Nav2导航堆栈相当，甚至在某些情况下更优。此外，通过在不同仿真机器人上进行测试，验证了学习策略的泛化能力。

🎯 应用场景

该研究成果可广泛应用于各种移动机器人应用场景，如仓储物流、自动驾驶、巡检安防等。通过强化学习训练的智能导航策略，可以提高机器人在复杂环境中的适应性和自主性，降低人工干预的需求，提升工作效率。未来，该方法有望扩展到更复杂的任务，如多机器人协同、动态环境下的路径规划等。

📄 摘要（原文）

Unprecedented agility and dexterous manipulation have been demonstrated with controllers based on deep reinforcement learning (RL), with a significant impact on legged and humanoid robots. Modern tooling and simulation platforms, such as NVIDIA Isaac Sim, have been enabling such advances. This article focuses on demonstrating the applications of Isaac in local planning and obstacle avoidance as one of the most fundamental ways in which a mobile robot interacts with its environments. Although there is extensive research on proprioception-based RL policies, the article highlights less standardized and reproducible approaches to exteroception. At the same time, the article aims to provide a base framework for end-to-end local navigation policies and how a custom robot can be trained in such simulation environment. We benchmark end-to-end policies with the state-of-the-art Nav2, navigation stack in Robot Operating System (ROS). We also cover the sim-to-real transfer process by demonstrating zero-shot transferability of policies trained in the Isaac simulator to real-world robots. This is further evidenced by the tests with different simulated robots, which show the generalization of the learned policy. Finally, the benchmarks demonstrate comparable performance to Nav2, opening the door to quick deployment of state-of-the-art end-to-end local planners for custom robot platforms, but importantly furthering the possibilities by expanding the state and action spaces or task definitions for more complex missions. Overall, with this article we introduce the most important steps, and aspects to consider, in deploying RL policies for local path planning and obstacle avoidance with Isaac Sim training, Gazebo testing, and ROS 2 for real-time inference in real robots. The code is available at https://github.com/sahars93/RL-Navigation.