Deep Reinforcement Learning Enabled Persistent Surveillance with Energy-Aware UAV-UGV Systems for Disaster Management Applications

📄 arXiv: 2502.02666v1 📥 PDF

作者: Md Safwan Mondal, Subramanian Ramasamy, Pranav Bhounsule

分类: cs.RO

发布日期: 2025-02-04

备注: Submitted

💡 一句话要点

提出基于深度强化学习的UAV-UGV协同能源感知持久监视方案，用于灾害管理。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 无人机 无人地面车辆 协同路由 能源感知 灾害管理 Transformer网络

📋 核心要点

  1. 无人机续航有限，无人车虽慢但可携带大电池，现有方法难以有效协同两者进行持久监视。
  2. 提出基于深度强化学习的规划框架，优化无人机-无人车路线和充电点，最小化任务点访问间隔。
  3. 实验表明，该方法在解决方案质量和运行时间上优于启发式方法和现有学习模型，并验证了其在真实灾害场景中的适用性。

📝 摘要（中文）

本文提出了一种将无人机（UAV）与无人地面车辆（UGV）相结合的方案，用于灾害管理中的持久监视。无人机擅长快速覆盖大面积区域，但其续航里程受电池容量限制。无人地面车辆虽然速度较慢，但可以携带更大的电池以延长任务时间。通过利用无人地面车辆作为移动充电站，无人机可以通过周期性补给来延长任务持续时间，从而发挥两者的互补优势。为了优化这种能源感知的无人机-无人地面车辆协同路由问题，我们提出了一个规划框架，该框架确定了无人机和无人地面车辆之间的最佳路线和充电点。我们的解决方案采用了一种基于编码器-解码器Transformer架构和多头注意力机制的深度强化学习（DRL）框架。该架构使模型能够顺序选择动作，以访问任务点并协调无人机和无人地面车辆之间的充电会合。该深度强化学习模型经过训练，可以最大限度地减少任务点的年龄周期（连续访问之间的时间间隔），从而确保有效的监视。我们在各种问题规模和分布上评估了该框架，并将其性能与启发式方法和现有的基于学习的模型进行了比较。结果表明，我们的方法在解决方案质量和运行时间方面始终优于这些基线。此外，我们通过一个真实的灾难场景案例研究证明了该深度强化学习策略的适用性，并探讨了其在线任务规划以处理动态变化的潜力。针对优先级驱动的监视调整深度强化学习策略突出了该模型在实时灾难响应中的通用性。

🔬 方法详解

问题定义：论文旨在解决灾害管理中，如何利用无人机（UAV）和无人地面车辆（UGV）进行协同持久监视的问题。无人机虽然覆盖范围广，但续航有限；无人车续航长，但移动速度慢。现有方法难以有效协调两者，实现长时间、高质量的监视覆盖。

核心思路：论文的核心思路是利用无人车作为无人机的移动充电站，通过优化无人机和无人车的路线规划和充电会合点，最大化无人机的任务执行时间，同时最小化任务点的访问间隔（即“年龄”）。这种协同方式充分利用了无人机和无人车的优势互补。

技术框架：整体框架基于深度强化学习（DRL），采用编码器-解码器Transformer架构。框架包含以下主要模块：1) 环境建模：定义任务区域、任务点、无人机和无人车的状态空间和动作空间。2) 深度强化学习模型：使用Transformer架构学习最优策略，选择无人机的访问点和无人车的会合点。3) 奖励函数设计：奖励函数旨在最小化任务点的平均年龄，并考虑能源消耗等因素。4) 训练与评估：通过模拟环境训练DRL模型，并与启发式方法和现有学习模型进行比较。

关键创新：最重要的技术创新点在于使用Transformer架构的深度强化学习模型来解决UAV-UGV协同路由问题。Transformer的自注意力机制能够有效捕捉任务点之间的依赖关系，从而做出更优的决策。与传统方法相比，DRL方法能够自适应地学习复杂的环境动态，无需人工设计复杂的规则。

关键设计：论文采用了编码器-解码器Transformer架构，其中编码器用于处理任务点的信息，解码器用于生成无人机的动作序列。使用了多头注意力机制来增强模型的表达能力。奖励函数的设计至关重要，论文通过精心设计的奖励函数来引导模型学习最小化任务点的平均年龄。此外，论文还考虑了能源消耗的约束，以确保无人机和无人车能够完成任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在不同规模和分布的问题中，均优于启发式方法和现有学习模型。具体而言，在解决方案质量（平均任务点年龄）和运行时间方面均有显著提升。案例研究表明，该策略能够适应真实的灾害场景，并具备在线任务规划的能力，可以根据优先级动态调整监视策略。

🎯 应用场景

该研究成果可应用于灾害管理、环境监测、边境巡逻等领域。通过无人机和无人车的协同工作，可以实现对目标区域的长时间、高效率的监视和数据采集，为决策者提供及时、准确的信息，从而提高应急响应能力和资源利用效率。未来，该技术还可扩展到其他多智能体协同任务中。

📄 摘要（原文）

Integrating Unmanned Aerial Vehicles (UAVs) with Unmanned Ground Vehicles (UGVs) provides an effective solution for persistent surveillance in disaster management. UAVs excel at covering large areas rapidly, but their range is limited by battery capacity. UGVs, though slower, can carry larger batteries for extended missions. By using UGVs as mobile recharging stations, UAVs can extend mission duration through periodic refueling, leveraging the complementary strengths of both systems. To optimize this energy-aware UAV-UGV cooperative routing problem, we propose a planning framework that determines optimal routes and recharging points between a UAV and a UGV. Our solution employs a deep reinforcement learning (DRL) framework built on an encoder-decoder transformer architecture with multi-head attention mechanisms. This architecture enables the model to sequentially select actions for visiting mission points and coordinating recharging rendezvous between the UAV and UGV. The DRL model is trained to minimize the age periods (the time gap between consecutive visits) of mission points, ensuring effective surveillance. We evaluate the framework across various problem sizes and distributions, comparing its performance against heuristic methods and an existing learning-based model. Results show that our approach consistently outperforms these baselines in both solution quality and runtime. Additionally, we demonstrate the DRL policy's applicability in a real-world disaster scenario as a case study and explore its potential for online mission planning to handle dynamic changes. Adapting the DRL policy for priority-driven surveillance highlights the model's generalizability for real-time disaster response.