MaskMA: Towards Zero-Shot Multi-Agent Decision Making with Mask-Based Collaborative Learning

📄 arXiv: 2310.11846v2 📥 PDF

作者: Jie Liu, Yinmin Zhang, Chuming Li, Chao Yang, Yaodong Yang, Yu Liu, Wanli Ouyang

分类: cs.AI

发布日期: 2023-10-18 (更新: 2024-02-23)

备注: 17 pages

💡 一句话要点

提出MaskMA以解决多智能体决策中的零-shot转移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体决策 零-shot学习 协作学习 动作空间划分 强化学习

📋 核心要点

  1. 现有多智能体决策方法在零-shot转移方面存在困难，主要由于集中训练与分散执行之间的不匹配，以及多样化任务中可泛化表示的创建难度。
  2. 本文提出MaskMA框架，通过随机屏蔽部分单元并协作学习未屏蔽单元的策略，解决集中训练与分散执行的不匹配问题。
  3. 在SMAC实验中，MaskMA在11个训练地图上训练后，在60个未见测试地图上实现了77.8%的平均零-shot胜率，表现优异。

📝 摘要（中文）

近年来，构建具备强大零-shot能力的通用智能体引发了显著进展。然而，将这一能力扩展到多智能体决策场景中面临挑战。现有方法在零-shot转移方面存在困难，主要由于集中训练与分散执行之间的不匹配，以及在多样化任务中创建可泛化表示的难度。为此，本文提出了一种基于Mask的协作学习框架MaskMA。该框架通过随机屏蔽部分单元并协作学习未屏蔽单元的策略来解决不匹配问题，同时将动作空间划分为与单元自身相关的内在动作和涉及其他单元交互的互动动作，从而实现对不同数量智能体和不同动作空间的灵活处理。实验结果显示，MaskMA在60个未见测试地图上实现了77.8%的平均零-shot胜率，且在其他下游任务中表现出色。

🔬 方法详解

问题定义：本文旨在解决多智能体决策中的零-shot转移问题。现有方法在集中训练与分散执行之间存在不匹配，且难以在多样化任务中创建可泛化的表示。

核心思路：MaskMA框架的核心思路是通过随机屏蔽部分单元，协作学习未屏蔽单元的策略，从而有效应对集中训练与分散执行的不匹配。此外，框架将动作空间划分为内在动作和互动动作，以增强对不同任务的适应性。

技术框架：MaskMA的整体架构包括两个主要模块：随机屏蔽模块和协作学习模块。随机屏蔽模块负责选择并屏蔽部分单元，而协作学习模块则通过未屏蔽单元的策略学习来优化整体决策过程。

关键创新：MaskMA的关键创新在于其基于屏蔽的协作学习方法，能够有效解决集中训练与分散执行的不匹配问题，并通过划分动作空间来增强模型的泛化能力。这与现有方法的设计思路有本质区别。

关键设计：在技术细节上，MaskMA采用了随机屏蔽策略，损失函数设计上注重未屏蔽单元的协作学习，网络结构则支持灵活的动作空间划分，以适应不同数量的智能体和任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SMAC实验中，MaskMA通过单一模型在11个训练地图上训练，成功在60个未见测试地图上实现了77.8%的平均零-shot胜率，显著优于现有基线方法，展示了其在多智能体决策中的有效性和灵活性。

🎯 应用场景

MaskMA框架在多智能体系统中具有广泛的应用潜力，尤其是在需要灵活应对不同任务和环境变化的场景，如机器人团队协作、智能交通系统和游戏AI等。其零-shot能力使得模型能够快速适应新任务，降低了训练成本，提升了实际应用的效率和效果。

📄 摘要（原文）

Building a single generalist agent with strong zero-shot capability has recently sparked significant advancements. However, extending this capability to multi-agent decision making scenarios presents challenges. Most current works struggle with zero-shot transfer, due to two challenges particular to the multi-agent settings: (a) a mismatch between centralized training and decentralized execution; and (b) difficulties in creating generalizable representations across diverse tasks due to varying agent numbers and action spaces. To overcome these challenges, we propose a Mask-Based collaborative learning framework for Multi-Agent decision making (MaskMA). Firstly, we propose to randomly mask part of the units and collaboratively learn the policies of unmasked units to handle the mismatch. In addition, MaskMA integrates a generalizable action representation by dividing the action space into intrinsic actions solely related to the unit itself and interactive actions involving interactions with other units. This flexibility allows MaskMA to tackle tasks with varying agent numbers and thus different action spaces. Extensive experiments in SMAC reveal MaskMA, with a single model trained on 11 training maps, can achieve an impressive 77.8% average zero-shot win rate on 60 unseen test maps by decentralized execution, while also performing effectively on other types of downstream tasks (e.g., varied policies collaboration, ally malfunction, and ad hoc team play).