How to Coordinate UAVs and UGVs for Efficient Mission Planning? Optimizing Energy-Constrained Cooperative Routing with a DRL Framework

📄 arXiv: 2504.21111v1 📥 PDF

作者: Md Safwan Mondal, Subramanian Ramasamy, Luca Russo, James D. Humann, James M. Dotterweich, Pranav Bhounsule

分类: cs.RO

发布日期: 2025-04-29

💡 一句话要点

提出基于DRL的UAV-UGV协同路由框架，优化能量约束下的任务规划。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: UAV-UGV协同 深度强化学习 能量约束路由 任务规划 多智能体系统

📋 核心要点

  1. 现有UAV-UGV协同任务规划方法难以兼顾能量约束、可扩展性和智能体间协调等挑战。
  2. 提出基于DRL的框架，通过智能体切换策略和Transformer架构，优化UAV路线和UGV充电汇合点。
  3. 实验表明，该框架在解决方案质量和运行效率上优于启发式方法和DRL基线，并具有良好的泛化能力。

📝 摘要（中文）

本文提出了一种可扩展的深度强化学习（DRL）框架，用于解决多智能体UAV-UGV团队在能量约束下的协同路由问题。该框架旨在通过优化UAV的路线和UGV的充电汇合点，以最短时间访问一组任务点，其中UAV在任务期间依赖UGV进行充电。该框架采用基于编解码器Transformer架构的按架次智能体切换策略，有效地管理多个智能体，分配任务点并协调行动。大量的计算实验表明，该框架在各种场景中优于启发式方法和DRL基线，在解决方案质量和运行效率方面都有显著提高。泛化研究验证了其鲁棒性，动态场景案例研究突出了其对实时变化的适应性。这项工作通过为多智能体任务规划提供可扩展、高效和鲁棒的解决方案，推进了UAV-UGV协同路由技术。

🔬 方法详解

问题定义：论文旨在解决UAV和UGV协同完成任务时的能量约束路由问题。UAV速度快但续航有限，UGV续航长但速度慢，如何协调两者，在满足UAV能量需求的前提下，以最短时间访问所有任务点是核心问题。现有方法在处理大规模问题时效率较低，难以适应动态环境，且难以实现UAV和UGV的有效协同。

核心思路：论文的核心思路是利用深度强化学习（DRL）来学习UAV和UGV的协同策略。通过将任务规划问题建模为马尔可夫决策过程（MDP），并设计合适的奖励函数，DRL智能体可以学习到最优的UAV路线和UGV充电位置，从而最小化任务完成时间。智能体切换策略允许框架有效地管理多个智能体，并根据任务需求动态分配任务。

技术框架：该框架主要包含以下几个模块：1) 环境建模：定义任务场景，包括任务点位置、UAV和UGV的初始位置和能量状态等。2) 状态表示：将环境信息编码为DRL智能体的输入状态。3) 动作空间：定义UAV和UGV可以执行的动作，例如移动到某个位置、充电等。4) 奖励函数：设计奖励函数，鼓励智能体尽快完成任务，并惩罚违反能量约束的行为。5) DRL智能体：使用基于Transformer的编解码器架构，学习最优的UAV和UGV协同策略。

关键创新：该论文的关键创新在于：1) 提出了一种基于DRL的UAV-UGV协同路由框架，能够有效地解决能量约束下的任务规划问题。2) 采用了sortie-wise agent switching策略，能够高效地管理多个智能体，并根据任务需求动态分配任务。3) 使用了基于Transformer的编解码器架构，能够更好地捕捉UAV和UGV之间的依赖关系，从而提高任务规划的效率。

关键设计：在DRL智能体的设计中，使用了Transformer的编解码器架构，其中编码器用于提取环境信息，解码器用于生成UAV和UGV的动作序列。损失函数包括任务完成时间的惩罚项和能量约束的惩罚项。为了提高训练效率，使用了经验回放和目标网络等技术。具体参数设置未知。

📊 实验亮点

实验结果表明，该框架在解决方案质量和运行效率方面均优于启发式方法和DRL基线。在不同规模的任务场景中，该框架能够显著减少任务完成时间，并有效地满足UAV的能量约束。泛化研究表明，该框架具有良好的鲁棒性，能够适应不同的环境条件。动态场景案例研究表明，该框架能够实时调整UAV和UGV的行动，以应对突发情况。

🎯 应用场景

该研究成果可应用于多种场景，例如：灾后救援、环境监测、农业巡检、物流配送等。通过UAV和UGV的协同工作，可以更高效地完成任务，降低成本，提高安全性。未来，该技术有望在智慧城市、智能交通等领域发挥重要作用。

📄 摘要（原文）

Efficient mission planning for cooperative systems involving Unmanned Aerial Vehicles (UAVs) and Unmanned Ground Vehicles (UGVs) requires addressing energy constraints, scalability, and coordination challenges between agents. UAVs excel in rapidly covering large areas but are constrained by limited battery life, while UGVs, with their extended operational range and capability to serve as mobile recharging stations, are hindered by slower speeds. This heterogeneity makes coordination between UAVs and UGVs critical for achieving optimal mission outcomes. In this work, we propose a scalable deep reinforcement learning (DRL) framework to address the energy-constrained cooperative routing problem for multi-agent UAV-UGV teams, aiming to visit a set of task points in minimal time with UAVs relying on UGVs for recharging during the mission. The framework incorporates sortie-wise agent switching to efficiently manage multiple agents, by allocating task points and coordinating actions. Using an encoder-decoder transformer architecture, it optimizes routes and recharging rendezvous for the UAV-UGV team in the task scenario. Extensive computational experiments demonstrate the framework's superior performance over heuristic methods and a DRL baseline, delivering significant improvements in solution quality and runtime efficiency across diverse scenarios. Generalization studies validate its robustness, while dynamic scenario highlights its adaptability to real-time changes with a case study. This work advances UAV-UGV cooperative routing by providing a scalable, efficient, and robust solution for multi-agent mission planning.