Accelerate Multi-Agent Reinforcement Learning in Zero-Sum Games with Subgame Curriculum Learning

📄 arXiv: 2310.04796v3 📥 PDF

作者: Jiayu Chen, Zelai Xu, Yunfei Li, Chao Yu, Jiaming Song, Huazhong Yang, Fei Fang, Yu Wang, Yi Wu

分类: cs.LG

发布日期: 2023-10-07 (更新: 2023-12-16)

💡 一句话要点

提出子游戏课程学习框架以加速零和博弈中的多智能体强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 零和博弈 纳什均衡 课程学习 子游戏选择 自适应状态分布 粒子状态采样

📋 核心要点

  1. 在复杂的零和博弈中，现有的多智能体强化学习方法在学习纳什均衡时面临高计算成本的挑战。
  2. 本文提出了一种子游戏课程学习框架，通过自适应状态分布和粒子状态采样器来加速学习过程。
  3. 实验结果显示，SACL在多个环境中表现优异，尤其在hide-and-seek环境中使用的样本量仅为MAPPO的一半。

📝 摘要（中文）

在复杂的零和博弈中，学习纳什均衡（NE）通过多智能体强化学习（MARL）可能非常耗费计算资源。课程学习是一种有效的加速学习方法，但针对子游戏的学习难度生成课程的维度尚未得到充分探索。本文提出了一种新颖的子游戏课程学习框架，采用自适应初始状态分布，通过重置智能体到先前访问的状态来快速学习以提高性能。基于该框架，我们推导出一种子游戏选择度量，近似NE值的平方距离，并进一步采用基于粒子的状态采样器生成子游戏。整合这些技术形成了我们的新算法——子游戏自动课程学习（SACL），可与任何MARL算法结合使用。实验结果表明，SACL在粒子世界环境和谷歌研究足球环境中产生了比基线更强的策略。

🔬 方法详解

问题定义：本文旨在解决在复杂零和博弈中学习纳什均衡时的高计算成本问题。现有方法通常忽视了子游戏的学习难度，导致学习效率低下。

核心思路：提出的子游戏课程学习框架通过自适应初始状态分布，重置智能体到先前访问的状态，以便快速学习和提升性能。

技术框架：该框架包含两个主要模块：自适应状态分布模块和子游戏选择度量模块。前者负责状态重置，后者用于选择适合的子游戏进行学习。

关键创新：最重要的创新在于引入了基于粒子的状态采样器和子游戏选择度量，这些技术有效地提高了学习效率，区别于传统的课程学习方法。

关键设计：在参数设置上，采用了动态调整的状态分布，并设计了特定的损失函数以优化学习过程，确保智能体能够在不同的子游戏中快速适应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SACL在粒子世界和谷歌研究足球环境中显著优于基线方法，尤其在hide-and-seek环境中，SACL仅使用MAPPO的一半样本量便成功产生了四个新兴阶段，展示了其卓越的学习效率。

🎯 应用场景

该研究的潜在应用领域包括博弈论、智能体对抗训练和复杂系统优化等。通过加速多智能体学习过程，能够在更短的时间内获得高效的策略，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Learning Nash equilibrium (NE) in complex zero-sum games with multi-agent reinforcement learning (MARL) can be extremely computationally expensive. Curriculum learning is an effective way to accelerate learning, but an under-explored dimension for generating a curriculum is the difficulty-to-learn of the subgames -- games induced by starting from a specific state. In this work, we present a novel subgame curriculum learning framework for zero-sum games. It adopts an adaptive initial state distribution by resetting agents to some previously visited states where they can quickly learn to improve performance. Building upon this framework, we derive a subgame selection metric that approximates the squared distance to NE values and further adopt a particle-based state sampler for subgame generation. Integrating these techniques leads to our new algorithm, Subgame Automatic Curriculum Learning (SACL), which is a realization of the subgame curriculum learning framework. SACL can be combined with any MARL algorithm such as MAPPO. Experiments in the particle-world environment and Google Research Football environment show SACL produces much stronger policies than baselines. In the challenging hide-and-seek quadrant environment, SACL produces all four emergent stages and uses only half the samples of MAPPO with self-play. The project website is at https://sites.google.com/view/sacl-rl.