NavRL++: A System-Level Framework for Improving Sim-to-Real Transfer in Reinforcement Learning-Based Robot Navigation

📄 arXiv: 2605.15559v1 📥 PDF

作者: Zhefan Xu, Hanyu Jin, Kenji Shimada

分类: cs.RO

发布日期: 2026-05-15

备注: 18 pages, 18 figures, 6 tables

💡 一句话要点

NavRL++：用于提升基于强化学习的机器人导航中Sim-to-Real迁移的系统级框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人导航 Sim-to-Real迁移 领域自适应 Transformer 时间推理 扰动感知微调

📋 核心要点

  1. 现有基于强化学习的导航方法侧重于RL框架设计，缺乏对Sim-to-Real迁移的深入分析和对训练策略影响的理解。
  2. NavRL++提出完整的训练和部署流程，通过扰动感知微调和Transformer时间推理策略，提升Sim-to-Real迁移的鲁棒性和控制平滑性。
  3. 实验表明，该方法在静态和动态环境中优于学习基线，并在真实机器人平台上实现了零样本Sim-to-Real迁移。

📝 摘要（中文）

近年来，基于强化学习的自主导航取得了显著进展。然而，现有方法主要侧重于强化学习框架的设计，例如输入表示、动作空间和奖励函数，而对Sim-to-Real迁移的分析有限，并且对训练策略如何影响真实世界部署性能的洞察不足。为了弥合这一差距，我们不仅引入了一个有效的强化学习框架，还提出了一个完整的训练和部署流程，以及一个系统的实证研究，该研究解耦了影响基于强化学习的导航中Sim-to-Real迁移的关键因素，包括传感器噪声、感知失败、系统延迟和控制响应。基于此分析的见解，我们引入了扰动感知微调，这是一种后训练适应策略，通过显式考虑经验识别的领域差异来提高迁移鲁棒性。为了进一步减轻真实世界部署中的感知退化并增强控制平滑性，我们提出了一种基于Transformer的时间推理策略，该策略利用短时程观察进行导航控制。我们定量评估了各个Sim-to-Real扰动和训练设计选择如何影响跨环境的导航性能。实验结果表明，所提出的训练策略和策略架构在静态和动态环境中均优于基于学习的基线，同时在静态环境中实现了与基于优化的规划器相当的性能。我们通过在包括空中和腿式机器人在内的多个机器人平台上进行真实世界部署来验证我们的方法，跨越以导航为中心的任务，例如探索和检查，展示了零样本Sim-to-Real迁移。

🔬 方法详解

问题定义：现有基于强化学习的机器人导航方法在从仿真环境迁移到真实环境时面临挑战。主要痛点在于仿真环境与真实环境存在差异，例如传感器噪声、感知失败、系统延迟和控制响应等，导致在仿真环境中训练的策略在真实环境中表现不佳。

核心思路：NavRL++的核心思路是通过系统性的分析和针对性的策略来解决Sim-to-Real迁移问题。首先，通过实验解耦影响迁移的关键因素。然后，提出扰动感知微调来适应领域差异，并使用Transformer进行时间推理以增强控制平滑性。

技术框架：NavRL++包含以下主要模块：1) 强化学习框架，用于在仿真环境中训练导航策略；2) 系统性的实证研究，用于分析Sim-to-Real迁移的关键因素；3) 扰动感知微调模块，用于适应领域差异；4) 基于Transformer的时间推理策略，用于增强控制平滑性；5) 真实世界部署模块，用于在真实机器人平台上验证方法的有效性。

关键创新：NavRL++的关键创新在于：1) 系统性地分析了影响Sim-to-Real迁移的关键因素，并提出了针对性的解决方案；2) 提出了扰动感知微调，显式地考虑了经验识别的领域差异；3) 提出了基于Transformer的时间推理策略，利用短时程观察进行导航控制，增强了控制的平滑性。

关键设计：扰动感知微调通过在训练后阶段，对策略进行微调，使其对在真实环境中观察到的扰动具有鲁棒性。Transformer时间推理策略使用短时程观察序列作为输入，通过自注意力机制学习时间依赖关系，从而提高控制的平滑性。具体参数设置和损失函数细节未在摘要中明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NavRL++在静态和动态环境中均优于基于学习的基线方法，并在静态环境中实现了与基于优化的规划器相当的性能。通过在空中和腿式机器人等多个机器人平台上进行真实世界部署，验证了该方法在探索和检查等导航任务中的有效性，实现了零样本Sim-to-Real迁移。

🎯 应用场景

NavRL++可应用于各种机器人导航任务，例如无人机巡检、移动机器人探索、以及腿式机器人复杂地形穿越等。该研究成果能够降低机器人部署的成本和难度，加速强化学习在机器人领域的应用，并为自主导航系统的开发提供有价值的参考。

📄 摘要（原文）

Recent years have witnessed significant progress in autonomous navigation using reinforcement learning. However, existing approaches largely emphasize reinforcement learning framework design, such as input representations, action spaces, and reward functions, while providing limited analysis of sim-to-real transfer and insufficient insight into how training strategies affect real-world deployment performance. To bridge this gap, we not only introduce an effective RL framework but also present a complete training and deployment pipeline, along with a systematic empirical study that disentangles the key factors affecting sim-to-real transfer in reinforcement learning-based navigation, including sensor noise, perception failures, system latency, and control response. Building on insights from this analysis, we introduce perturbation-aware fine-tuning, a post-training adaptation strategy that improves transfer robustness by explicitly accounting for empirically identified domain discrepancies. To further mitigate perception degradation and enhance control smoothness in real-world deployment, we propose a Transformer-based temporal reasoning policy that leverages short-horizon observation for navigation control. We quantitatively evaluate how individual sim-to-real perturbations and training design choices impact navigation performance across environments. Experimental results demonstrate that the proposed training strategy and policy architecture outperform learning-based baselines in both static and dynamic environments, while achieving performance comparable to optimization-based planners in static settings. We validate our approach through real-world deployment on multiple robotic platforms, including aerial and legged robots, across navigation-centric tasks such as exploration and inspection, demonstrating zero-shot sim-to-real transfer.