Learning Policies for Dynamic Coalition Formation in Multi-Robot Task Allocation

📄 arXiv: 2412.20397v3 📥 PDF

作者: Lucas C. D. Bezerra, Ataíde M. G. dos Santos, Shinkyu Park

分类: cs.RO, cs.MA

发布日期: 2024-12-29 (更新: 2025-07-16)

💡 一句话要点

提出基于学习的去中心化动态联盟形成框架，用于多机器人任务分配

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 多机器人任务分配 动态联盟形成 多智能体强化学习 MAPPO 去中心化控制

📋 核心要点

  1. 多机器人任务分配中，动态联盟形成面临挑战，现有方法难以在去中心化环境中实现高效的任务分配和协作。
  2. 本文提出一种基于学习的框架，通过扩展MAPPO并融入空间动作地图等机制，使机器人能够自主学习并形成联盟。
  3. 仿真实验表明，该框架能有效处理大规模机器人群体，并适应多样化的任务场景，提升任务完成效率。

📝 摘要（中文）

本文提出了一种去中心化的、基于学习的框架，用于多机器人任务分配（MRTA）中的动态联盟形成。该方法扩展了MAPPO算法，并集成了空间动作地图、机器人运动规划、意图共享和任务分配修订机制，从而实现有效且自适应的联盟形成。大量的仿真研究证实了该模型的有效性，使得每个机器人仅依赖局部信息就能学习及时修订任务选择，并与其他机器人形成联盟以完成协作任务。结果还突出了所提出的框架处理大型机器人群体以及适应具有多样化任务集的场景的能力。

🔬 方法详解

问题定义：多机器人任务分配（MRTA）中，如何让机器人在去中心化的环境中动态地形成联盟，以高效地完成协作任务是一个关键问题。现有的方法可能依赖于全局信息，或者难以适应动态变化的任务环境，导致任务分配效率低下或协作失败。

核心思路：本文的核心思路是利用多智能体强化学习（MARL）方法，让每个机器人通过与环境和其他机器人交互，学习到最优的任务选择和联盟形成策略。通过意图共享和任务分配修订机制，机器人可以根据局部信息动态调整自己的行为，从而实现高效的协作。

技术框架：该框架基于MAPPO算法，并进行了扩展。主要包含以下模块：1) 空间动作地图：用于表示机器人周围的环境信息和潜在的任务目标。2) 机器人运动规划：用于生成可行的机器人运动轨迹。3) 意图共享：机器人之间共享彼此的任务选择意图。4) 任务分配修订：根据意图共享的结果，机器人可以重新评估自己的任务选择，并与其他机器人形成联盟。整体流程是，每个机器人首先根据局部信息和空间动作地图选择任务，然后与其他机器人共享意图，最后根据意图共享的结果修订任务选择，并执行运动规划。

关键创新：该方法最重要的创新点在于将多智能体强化学习与动态联盟形成相结合，使得机器人能够在去中心化的环境中自主学习和适应。通过空间动作地图和意图共享机制，机器人可以有效地利用局部信息进行决策，从而避免了对全局信息的依赖。

关键设计：在MAPPO的基础上，作者设计了特定的奖励函数，鼓励机器人完成任务并与其他机器人协作。空间动作地图的设计需要考虑环境信息的表示方式和动作空间的离散化。意图共享机制需要考虑信息的编码和传输方式。任务分配修订机制需要设计合理的规则，以避免出现任务冲突或重复分配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的框架在多机器人任务分配中表现出色，能够有效地形成联盟并完成协作任务。与基线方法相比，该框架在任务完成率和任务完成时间方面均有显著提升。此外，该框架还能够处理大规模机器人群体，并适应具有多样化任务集的场景，展现了良好的泛化能力。

🎯 应用场景

该研究成果可应用于各种多机器人协作场景，例如：仓储物流、灾难救援、环境监测、农业生产等。通过自主学习和动态联盟形成，机器人可以更高效地完成复杂任务，提高生产效率，降低人工成本，并增强系统的鲁棒性和适应性。未来，该方法有望扩展到更复杂的任务环境和更大规模的机器人群体。

📄 摘要（原文）

We propose a decentralized, learning-based framework for dynamic coalition formation in Multi-Robot Task Allocation (MRTA). Our approach extends MAPPO by integrating spatial action maps, robot motion planning, intention sharing, and task allocation revision to enable effective and adaptive coalition formation. Extensive simulation studies confirm the effectiveness of our model, enabling each robot to rely solely on local information to learn timely revisions of task selections and form coalitions with other robots to complete collaborative tasks. The results also highlight the proposed framework's ability to handle large robot populations and adapt to scenarios with diverse task sets.