Motion Control in Multi-Rotor Aerial Robots Using Deep Reinforcement Learning

📄 arXiv: 2502.05996v2 📥 PDF

作者: Gaurav Shetty, Mahya Ramezani, Hamed Habibi, Holger Voos, Jose Luis Sanchez-Lopez

分类: cs.RO, cs.AI

发布日期: 2025-02-09 (更新: 2025-04-14)

💡 一句话要点

提出基于深度强化学习的多旋翼无人机运动控制方法，用于增材制造。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 无人机控制 增材制造 运动规划 DDPG TD3 课程学习 机器人

📋 核心要点

  1. 传统PID控制器在无人机增材制造中难以适应有效载荷变化和外部干扰，需要频繁调参。
  2. 提出基于深度强化学习的控制框架，学习自适应控制策略，实现无人机航点导航。
  3. 实验表明，TD3算法在训练稳定性、准确性和成功率方面表现更优，尤其是在质量变化的情况下。

📝 摘要（中文）

本文研究了深度强化学习（DRL）在无人机运动控制中应用于增材制造（AM）的挑战。基于无人机的增材制造有望在大规模或危险环境中实现灵活和自主的材料沉积。然而，在变化的有效载荷和潜在干扰下，实现多旋翼无人机的鲁棒实时控制仍然具有挑战性。传统的PID控制器通常需要频繁的参数重新调整，限制了它们在动态场景中的适用性。我们提出了一个DRL框架，该框架学习用于在AM任务中执行航点导航的多旋翼无人机的自适应控制策略。我们比较了深度确定性策略梯度（DDPG）和双延迟深度确定性策略梯度（TD3），并采用课程学习方案来处理日益增长的复杂性。我们的实验表明，TD3始终如一地平衡了训练稳定性、准确性和成功率，尤其是在引入质量变化时。这些发现为增材制造中鲁棒、自主的无人机控制提供了一条可扩展的路径。

🔬 方法详解

问题定义：论文旨在解决无人机在增材制造应用中，面对有效载荷变化和外部干扰时，难以实现鲁棒实时运动控制的问题。传统PID控制方法需要频繁手动调整参数，难以适应动态环境，限制了其在复杂增材制造任务中的应用。

核心思路：论文的核心思路是利用深度强化学习（DRL）算法，训练一个能够自适应调整控制策略的智能体，使其能够根据当前状态（例如位置、速度、有效载荷）自主学习最优控制策略，从而实现鲁棒的航点导航。这种方法避免了手动调参的繁琐，并能够更好地适应动态变化的环境。

技术框架：整体框架包含以下几个主要模块：1) 环境模型：模拟无人机的动力学特性和外部环境；2) 智能体：基于深度神经网络，学习控制策略；3) 奖励函数：用于指导智能体学习，鼓励其完成航点导航任务，并惩罚偏离航线或不稳定行为；4) 训练循环：通过与环境交互，不断更新智能体的策略。论文比较了DDPG和TD3两种DRL算法，并采用课程学习策略，逐步增加训练难度。

关键创新：论文的关键创新在于将深度强化学习应用于无人机增材制造的运动控制问题，并验证了TD3算法在处理质量变化时的优越性。通过课程学习，智能体能够逐步适应复杂的环境和任务，提高了控制策略的泛化能力和鲁棒性。

关键设计：论文采用了TD3算法，该算法通过引入双Q网络和目标策略平滑等机制，有效缓解了DDPG算法中常见的过估计问题，提高了训练的稳定性和性能。奖励函数的设计至关重要，需要平衡航点导航的精度和控制的平稳性。课程学习策略的设计也需要精心考虑，逐步增加训练难度，避免智能体陷入局部最优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TD3算法在无人机航点导航任务中表现优于DDPG算法，尤其是在引入质量变化时，TD3能够保持更高的训练稳定性和控制精度。具体性能数据未知，但论文强调TD3在平衡训练稳定性、准确性和成功率方面的优势。

🎯 应用场景

该研究成果可应用于无人机增材制造领域，例如在大型结构或危险环境中进行自主材料沉积。其潜在价值在于提高生产效率、降低人工成本，并扩展增材制造的应用范围。未来，该技术有望应用于建筑、航空航天等领域，实现更灵活、高效的制造过程。

📄 摘要（原文）

This paper investigates the application of Deep Reinforcement (DRL) Learning to address motion control challenges in drones for additive manufacturing (AM). Drone-based additive manufacturing promises flexible and autonomous material deposition in large-scale or hazardous environments. However, achieving robust real-time control of a multi-rotor aerial robot under varying payloads and potential disturbances remains challenging. Traditional controllers like PID often require frequent parameter re-tuning, limiting their applicability in dynamic scenarios. We propose a DRL framework that learns adaptable control policies for multi-rotor drones performing waypoint navigation in AM tasks. We compare Deep Deterministic Policy Gradient (DDPG) and Twin Delayed Deep Deterministic Policy Gradient (TD3) within a curriculum learning scheme designed to handle increasing complexity. Our experiments show TD3 consistently balances training stability, accuracy, and success, particularly when mass variability is introduced. These findings provide a scalable path toward robust, autonomous drone control in additive manufacturing.