RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation

📄 arXiv: 2502.02054v2 📥 PDF

作者: Minwoo Kim, Geunsik Bae, Jinwoo Lee, Woojae Shin, Changseung Kim, Myong-Yol Choi, Heejung Shin, Hyondong Oh

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2025-02-04 (更新: 2025-11-19)

备注: 18 pages, 11 figures, 58 references, and appendix is included

期刊: Proceedings of Robotics: Science and Systems (RSS), 2025

💡 一句话要点

RAPID：基于逆强化学习的稳健敏捷视觉无人机导航规划器

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无人机导航 逆强化学习 视觉导航 自主飞行 运动规划

📋 核心要点

  1. 现有基于行为克隆和强化学习的视觉导航方法存在累积误差和奖励函数设计困难等问题。
  2. 论文提出基于逆强化学习的框架，结合专家数据集和学习者数据集，学习鲁棒的奖励函数和策略。
  3. 实验结果表明，该方法在仿真和真实环境中均表现良好，无人机实现了平均7m/s的高速飞行。

📝 摘要（中文）

本文提出了一种基于学习的视觉规划器，用于在复杂环境中实现无人机的敏捷飞行。该规划器能在毫秒内生成无碰撞航点，使无人机无需构建单独的感知、建图和规划模块，即可在复杂环境中执行敏捷机动。行为克隆(BC)和强化学习(RL)等基于学习的方法在视觉导航中表现出良好的性能，但仍面临固有的局限性。BC容易因有限的专家模仿而产生累积误差，而RL则难以设计奖励函数和存在样本效率问题。为了解决这些局限性，本文提出了一种基于逆强化学习(IRL)的框架，用于高速视觉导航。通过利用IRL，可以在减少与仿真环境交互次数的同时，提高处理高维空间的能力，并保持RL策略的鲁棒性。一种基于运动原语的路径规划算法，利用来自不同环境的特权地图数据收集专家数据集，确保全面的场景覆盖。通过利用从代理与仿真环境交互中获得的专家和学习者数据集，可以学习到跨越各种状态的鲁棒奖励函数和策略。该方法仅在仿真环境中进行训练，但可以直接应用于真实场景，无需额外的训练或调整。所提出的方法在仿真和真实环境中都得到了验证，包括森林和各种结构。训练后的策略在真实飞行实验中实现了平均7米/秒的速度和最大8.8米/秒的速度。据我们所知，这是第一个成功应用IRL框架进行无人机高速视觉导航的工作。

🔬 方法详解

问题定义：无人机在复杂环境中进行高速自主导航，需要解决感知、建图和规划等多个模块的集成问题。现有基于行为克隆的方法容易产生累积误差，而强化学习方法则面临奖励函数设计困难和样本效率低下的挑战。

核心思路：利用逆强化学习（IRL）从专家数据中学习奖励函数，然后使用强化学习训练策略。这种方法结合了行为克隆的优点（利用专家知识）和强化学习的优点（自主探索），从而提高了导航的鲁棒性和效率。

技术框架：RAPID框架包含以下几个主要模块：1) 专家数据集生成：使用基于运动原语的路径规划算法，利用特权地图数据生成专家轨迹。2) 学习者数据集生成：无人机在仿真环境中与环境交互，收集学习者轨迹。3) 奖励函数学习：使用IRL算法，结合专家和学习者数据集，学习奖励函数。4) 策略学习：使用强化学习算法，基于学习到的奖励函数训练导航策略。

关键创新：该论文的关键创新在于首次将IRL框架成功应用于无人机高速视觉导航。通过结合专家数据和学习者数据，学习到了一个鲁棒的奖励函数，从而提高了导航策略的泛化能力和鲁棒性。

关键设计：论文使用基于运动原语的路径规划算法生成专家轨迹，确保了轨迹的多样性和覆盖范围。IRL算法的具体实现细节未知，但其目标是学习一个能够区分专家轨迹和学习者轨迹的奖励函数。强化学习算法的具体选择也未知，但需要能够处理高维状态空间和连续动作空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在真实飞行实验中实现了平均7 m/s的速度和最大8.8 m/s的速度，验证了其在复杂环境中进行高速自主导航的能力。该方法仅在仿真环境中进行训练，可以直接应用于真实场景，无需额外的训练或调整，展示了良好的泛化能力。据作者所知，这是第一个成功应用IRL框架进行无人机高速视觉导航的工作。

🎯 应用场景

该研究成果可应用于无人机物流、搜索救援、环境监测、农业植保等领域。通过提高无人机在复杂环境中的自主导航能力，可以降低人工成本，提高工作效率，并拓展无人机的应用范围。未来，该技术有望进一步发展，实现无人机在更复杂、更动态的环境中的自主飞行。

📄 摘要（原文）

This paper introduces a learning-based visual planner for agile drone flight in cluttered environments. The proposed planner generates collision-free waypoints in milliseconds, enabling drones to perform agile maneuvers in complex environments without building separate perception, mapping, and planning modules. Learning-based methods, such as behavior cloning (BC) and reinforcement learning (RL), demonstrate promising performance in visual navigation but still face inherent limitations. BC is susceptible to compounding errors due to limited expert imitation, while RL struggles with reward function design and sample inefficiency. To address these limitations, this paper proposes an inverse reinforcement learning (IRL)-based framework for high-speed visual navigation. By leveraging IRL, it is possible to reduce the number of interactions with simulation environments and improve capability to deal with high-dimensional spaces while preserving the robustness of RL policies. A motion primitive-based path planning algorithm collects an expert dataset with privileged map data from diverse environments, ensuring comprehensive scenario coverage. By leveraging both the acquired expert and learner dataset gathered from the agent's interactions with the simulation environments, a robust reward function and policy are learned across diverse states. While the proposed method is trained in a simulation environment only, it can be directly applied to real-world scenarios without additional training or tuning. The performance of the proposed method is validated in both simulation and real-world environments, including forests and various structures. The trained policy achieves an average speed of 7 m/s and a maximum speed of 8.8 m/s in real flight experiments. To the best of our knowledge, this is the first work to successfully apply an IRL framework for high-speed visual navigation of drones.