What Matters in Learning A Zero-Shot Sim-to-Real RL Policy for Quadrotor Control? A Comprehensive Study

📄 arXiv: 2412.11764v4 📥 PDF

作者: Jiayu Chen, Chao Yu, Yuqing Xie, Feng Gao, Yinuo Chen, Shu'ang Yu, Wenhao Tang, Shilong Ji, Mo Mu, Yi Wu, Huazhong Yang, Yu Wang

分类: cs.RO, cs.LG

发布日期: 2024-12-16 (更新: 2025-05-22)

备注: The first two authors contribute equally; Accepted by RA-L

💡 一句话要点

SimpleFlight：针对四旋翼无人机零样本Sim-to-Real强化学习控制策略的关键因素研究

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 四旋翼控制 强化学习 Sim-to-Real 零样本迁移 鲁棒控制

📋 核心要点

  1. 传统四旋翼控制方法依赖于扁平轨迹或耗时优化，限制了其在复杂环境下的灵活性和适应性。
  2. SimpleFlight通过集成五种关键技术，显著提升了基于强化学习的控制策略在真实环境中的鲁棒性和零样本迁移能力。
  3. 实验表明，SimpleFlight在轨迹跟踪误差方面比现有RL基线降低了50%以上，尤其在高速和复杂轨迹下表现出色。

📝 摘要（中文）

精确和敏捷的飞行操作对于四旋翼无人机在各种应用中至关重要。传统的四旋翼控制方法受限于对扁平轨迹的依赖或耗时的优化，限制了其灵活性。近年来，基于强化学习（RL）的策略因其能够直接将观测映射到动作而成为一种有前途的替代方案，减少了对详细系统知识和驱动约束的需求。然而，一个重要的挑战仍然存在于弥合Sim-to-Real差距，即基于RL的策略在现实世界中部署时经常出现不稳定。本文研究了学习鲁棒的、能够零样本部署到真实四旋翼无人机的基于RL的控制策略的关键因素。我们确定了五个关键因素，并开发了一个基于PPO的训练框架SimpleFlight，该框架集成了这五种技术。我们在Crazyflie四旋翼无人机上验证了SimpleFlight的有效性，表明与最先进的RL基线相比，它在轨迹跟踪误差方面实现了超过50%的降低。SimpleFlight导出的策略在小型推重比四旋翼无人机上的平滑多项式轨迹和具有挑战性的不可行锯齿形轨迹上始终表现出色。相比之下，基线方法难以处理高速或不可行轨迹。为了支持进一步的研究和可重复性，我们将SimpleFlight集成到基于GPU的模拟器Omnidrones中，并提供对代码和模型检查点的开源访问。我们希望SimpleFlight能够为推进基于RL的四旋翼控制提供有价值的见解。

🔬 方法详解

问题定义：现有基于强化学习的四旋翼控制方法在从仿真环境迁移到真实环境时，常常面临性能下降甚至失效的问题，即Sim-to-Real差距。这主要是由于仿真环境与真实环境之间的差异，例如传感器噪声、动力学模型误差、以及未建模的扰动等。现有方法难以在真实环境中实现鲁棒和精确的控制。

核心思路：SimpleFlight的核心思路是通过在仿真训练中引入一系列增强技术，使得训练得到的策略对真实环境中的各种不确定性和噪声具有更强的适应性。具体来说，论文识别并集成了五个关键因素，包括更精确的动力学建模、更真实的传感器模拟、更有效的探索策略、更鲁棒的奖励函数设计以及更强的扰动建模。通过这些方法，缩小仿真环境与真实环境之间的差距，从而实现零样本Sim-to-Real迁移。

技术框架：SimpleFlight基于PPO（Proximal Policy Optimization）算法，构建了一个端到端的强化学习训练框架。该框架主要包含以下几个模块：1) 环境模拟器：使用Omnidrones模拟四旋翼飞行环境，并集成各种噪声和扰动模型。2) 策略网络：采用深度神经网络作为策略函数，将观测状态映射到控制动作。3) 奖励函数：设计合理的奖励函数，引导智能体学习期望的飞行行为。4) PPO优化器：使用PPO算法更新策略网络参数，最大化累积奖励。5) 关键因素集成模块：将论文提出的五个关键因素集成到训练流程中，提升策略的鲁棒性和泛化能力。

关键创新：SimpleFlight最重要的技术创新在于对影响Sim-to-Real迁移的关键因素的识别和集成。论文通过大量的实验分析，确定了动力学建模精度、传感器噪声模拟、探索策略、奖励函数设计和扰动建模这五个关键因素，并针对每个因素提出了有效的解决方案。这种系统性的研究方法为解决Sim-to-Real问题提供了新的思路。

关键设计：在动力学建模方面，SimpleFlight考虑了空气阻力、螺旋桨效应等非线性因素，提高了模型精度。在传感器模拟方面，引入了高斯噪声和延迟，模拟真实传感器的特性。在探索策略方面，采用了自适应噪声注入方法，鼓励智能体探索未知的状态空间。在奖励函数设计方面，综合考虑了位置误差、速度误差、姿态误差和控制力矩等因素，设计了一个多目标奖励函数。在扰动建模方面，引入了随机风场和外部冲击，模拟真实环境中的扰动。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SimpleFlight在Crazyflie四旋翼无人机上进行了实验验证，结果表明，与最先进的RL基线相比，SimpleFlight在轨迹跟踪误差方面实现了超过50%的降低。尤其是在高速和不可行的锯齿形轨迹下，SimpleFlight表现出显著的优势，而基线方法则难以稳定飞行。此外，SimpleFlight的策略能够实现零样本Sim-to-Real迁移，无需在真实环境中进行额外的微调。

🎯 应用场景

SimpleFlight的研究成果可广泛应用于无人机自主导航、智能巡检、物流配送、灾害救援等领域。通过提高无人机在复杂环境中的鲁棒性和适应性，可以降低人工干预的需求，提高作业效率和安全性。未来，该技术有望进一步拓展到其他机器人领域，例如自动驾驶、工业机器人等。

📄 摘要（原文）

Executing precise and agile flight maneuvers is critical for quadrotors in various applications. Traditional quadrotor control approaches are limited by their reliance on flat trajectories or time-consuming optimization, which restricts their flexibility. Recently, RL-based policy has emerged as a promising alternative due to its ability to directly map observations to actions, reducing the need for detailed system knowledge and actuation constraints. However, a significant challenge remains in bridging the sim-to-real gap, where RL-based policies often experience instability when deployed in real world. In this paper, we investigate key factors for learning robust RL-based control policies that are capable of zero-shot deployment in real-world quadrotors. We identify five critical factors and we develop a PPO-based training framework named SimpleFlight, which integrates these five techniques. We validate the efficacy of SimpleFlight on Crazyflie quadrotor, demonstrating that it achieves more than a 50% reduction in trajectory tracking error compared to state-of-the-art RL baselines. The policy derived by SimpleFlight consistently excels across both smooth polynominal trajectories and challenging infeasible zigzag trajectories on small thrust-to-weight quadrotors. In contrast, baseline methods struggle with high-speed or infeasible trajectories. To support further research and reproducibility, we integrate SimpleFlight into a GPU-based simulator Omnidrones and provide open-source access to the code and model checkpoints. We hope SimpleFlight will offer valuable insights for advancing RL-based quadrotor control. For more details, visit our project website at https://sites.google.com/view/simpleflight/.