Dual Agent Learning Based Aerial Trajectory Tracking

📄 arXiv: 2410.23571v1 📥 PDF

作者: Shaswat Garg, Houman Masnavi, Baris Fidan, Farrokh Janabi-Sharifi

分类: cs.RO

发布日期: 2024-10-31

💡 一句话要点

提出基于双智能体强化学习的无人机轨迹跟踪方法，解决复杂环境下的鲁棒性问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 无人机 轨迹跟踪 强化学习 双智能体 深度学习 避障 课程学习

📋 核心要点

  1. 传统无人机轨迹跟踪方法计算量大，在动态环境中鲁棒性不足，难以适应复杂环境。
  2. 采用双智能体强化学习架构，分别负责轨迹跟踪和避障，利用3D点云数据进行环境感知。
  3. 通过模拟和真实实验验证，该方法优于现有强化学习和基于优化的方法，并采用课程学习提升泛化能力。

📝 摘要（中文）

本文提出了一种新颖的强化学习框架，用于在复杂环境中实现无人机轨迹跟踪，该框架采用双智能体架构。传统的轨迹跟踪优化方法面临着巨大的计算挑战，并且在动态环境中缺乏鲁棒性。我们的方法利用深度强化学习（RL）来克服这些限制，利用3D点云数据来感知环境，而无需依赖占用栅格等内存密集型障碍物表示。所提出的系统包含两个RL智能体：一个用于预测无人机的速度以跟踪参考轨迹，另一个用于管理存在障碍物时的避撞。这种架构确保了实时性能和对不确定性的适应性。我们通过模拟和真实世界的实验证明了该方法的有效性，突出了相对于最先进的RL和基于优化的方法的改进。此外，采用课程学习范式将算法扩展到更复杂的环境，确保在静态和动态场景中实现鲁棒的轨迹跟踪和避障。

🔬 方法详解

问题定义：论文旨在解决复杂和动态环境中无人机轨迹跟踪的鲁棒性和实时性问题。现有方法，如传统的优化方法，计算复杂度高，难以适应快速变化的环境。基于占用栅格的障碍物表示方法需要大量的内存，限制了其在资源受限平台上的应用。

核心思路：论文的核心思路是将轨迹跟踪和避障任务解耦，分别由两个强化学习智能体负责。轨迹跟踪智能体负责根据参考轨迹预测无人机的速度，避障智能体负责在存在障碍物时进行避撞。这种解耦的设计降低了每个智能体的复杂性，提高了整体系统的实时性和鲁棒性。

技术框架：整体框架包含两个主要的强化学习智能体：轨迹跟踪智能体和避障智能体。轨迹跟踪智能体接收参考轨迹和无人机的当前状态作为输入，输出无人机的速度控制指令。避障智能体接收3D点云数据作为输入，输出避撞控制指令。两个智能体的输出进行融合，得到最终的无人机控制指令。此外，论文还采用了课程学习策略，逐步增加训练环境的复杂性，以提高智能体的泛化能力。

关键创新：最重要的创新点在于双智能体架构，它将复杂的轨迹跟踪任务分解为两个更简单的子任务，从而降低了学习难度，提高了系统的实时性和鲁棒性。此外，使用3D点云数据直接进行环境感知，避免了占用栅格等中间表示，降低了内存需求。

关键设计：轨迹跟踪智能体和避障智能体均采用深度神经网络作为策略网络。损失函数的设计考虑了轨迹跟踪的精度和避撞的安全性。课程学习策略通过逐步增加环境中障碍物的数量和复杂性来提高智能体的泛化能力。具体的网络结构和参数设置在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过模拟和真实环境实验验证了所提出方法的有效性。实验结果表明，该方法在轨迹跟踪精度和避障能力方面均优于现有的强化学习和基于优化的方法。具体的性能提升数据和对比基线在论文中有详细描述（未知）。课程学习策略显著提高了智能体在复杂环境中的泛化能力。

🎯 应用场景

该研究成果可应用于物流配送、环境监测、灾害救援等领域。通过提高无人机在复杂环境中的自主导航能力，可以降低人工干预的需求，提高任务效率和安全性。未来，该技术有望应用于更大规模的无人机集群控制和协同作业。

📄 摘要（原文）

This paper presents a novel reinforcement learning framework for trajectory tracking of unmanned aerial vehicles in cluttered environments using a dual-agent architecture. Traditional optimization methods for trajectory tracking face significant computational challenges and lack robustness in dynamic environments. Our approach employs deep reinforcement learning (RL) to overcome these limitations, leveraging 3D pointcloud data to perceive the environment without relying on memory-intensive obstacle representations like occupancy grids. The proposed system features two RL agents: one for predicting UAV velocities to follow a reference trajectory and another for managing collision avoidance in the presence of obstacles. This architecture ensures real-time performance and adaptability to uncertainties. We demonstrate the efficacy of our approach through simulated and real-world experiments, highlighting improvements over state-of-the-art RL and optimization-based methods. Additionally, a curriculum learning paradigm is employed to scale the algorithms to more complex environments, ensuring robust trajectory tracking and obstacle avoidance in both static and dynamic scenarios.