AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning

📄 arXiv: 2412.15700v2 📥 PDF

作者: Guangchong Zhou, Zeren Zhang, Guoliang Fan

分类: cs.AI, cs.LG, cs.MA

发布日期: 2024-12-20 (更新: 2024-12-30)

💡 一句话要点

提出AIR，统一个体与集体探索，提升合作多智能体强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 合作博弈 探索策略 身份识别 对抗学习

📋 核心要点

  1. 合作MARL中，基于价值的智能体因缺乏策略而难以探索，现有方法效率低且难以整合。
  2. AIR通过对抗学习，利用身份识别分类器和动作选择器，自适应调整探索模式和程度。
  3. 理论证明AIR能促进个体和集体探索，实验验证了其在多种任务中的效率和有效性。

📝 摘要（中文）

在合作多智能体强化学习(MARL)中，由于缺乏显式策略，基于价值的智能体的探索仍然具有挑战性。现有方法包括基于系统不确定性的个体探索，以及通过智能体之间的行为多样性实现的集体探索。然而，引入额外的结构通常会导致训练效率降低，并且难以整合这些方法。本文提出了自适应探索方法，通过身份识别(AIR)来实现，它由两个对抗性组件组成：一个分类器，用于从智能体的轨迹中识别智能体身份；以及一个动作选择器，用于自适应地调整探索的模式和程度。理论上证明，AIR可以促进训练期间的个体和集体探索，实验也证明了AIR在各种任务中的效率和有效性。

🔬 方法详解

问题定义：合作多智能体强化学习中，如何有效地进行探索是一个关键问题。现有方法，如基于不确定性的个体探索和基于行为多样性的集体探索，通常需要引入额外的结构，导致训练效率降低，并且难以将两者有效结合。因此，需要一种能够同时促进个体和集体探索，且不显著增加计算复杂度的探索方法。

核心思路：AIR的核心思路是通过智能体的轨迹来识别其身份，并利用这种身份信息来指导探索。具体来说，通过训练一个分类器来区分不同智能体的行为轨迹，然后利用分类器的预测结果来调整动作选择策略，从而实现自适应的个体和集体探索。这种方法避免了显式地设计探索策略，而是通过学习智能体之间的差异来实现探索。

技术框架：AIR包含两个主要组件：身份识别分类器（Identity Recognition Classifier）和动作选择器（Action Selector）。身份识别分类器负责从智能体的轨迹中学习智能体的身份表示，动作选择器则根据智能体的身份表示和当前状态，选择合适的动作。这两个组件以对抗的方式进行训练，分类器试图准确地识别智能体的身份，而动作选择器则试图通过改变智能体的行为来欺骗分类器。

关键创新：AIR的关键创新在于将智能体身份识别与探索策略相结合，通过对抗学习的方式，自适应地调整探索的模式和程度。与现有方法相比，AIR不需要显式地设计探索策略，而是通过学习智能体之间的差异来实现探索，从而提高了探索效率和训练效果。此外，AIR能够同时促进个体和集体探索，从而更好地适应复杂的合作环境。

关键设计：身份识别分类器通常采用卷积神经网络或循环神经网络，输入是智能体的轨迹数据，输出是智能体的身份标签。动作选择器可以采用ε-greedy策略或softmax策略，并根据分类器的预测结果调整探索概率或动作分布。损失函数包括分类损失和强化学习损失，分类损失用于训练身份识别分类器，强化学习损失用于训练动作选择器。对抗训练通过梯度反转层实现，使得动作选择器的目标是最大化分类器的损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AIR在多个合作MARL任务中取得了显著的性能提升。例如，在StarCraft II环境中，AIR的胜率超过了现有的基线方法。此外，实验还验证了AIR能够有效地促进个体和集体探索，从而提高智能体的学习效率和泛化能力。

🎯 应用场景

AIR可应用于各种合作多智能体系统，如机器人协同、交通调度、资源分配等。在机器人协同中，AIR可以帮助机器人更好地探索环境，学习协同策略，从而完成复杂的任务。在交通调度中，AIR可以优化车辆的行驶路线，减少交通拥堵。在资源分配中，AIR可以提高资源的利用率，实现更公平的分配。

📄 摘要（原文）

Exploration in cooperative multi-agent reinforcement learning (MARL) remains challenging for value-based agents due to the absence of an explicit policy. Existing approaches include individual exploration based on uncertainty towards the system and collective exploration through behavioral diversity among agents. However, the introduction of additional structures often leads to reduced training efficiency and infeasible integration of these methods. In this paper, we propose Adaptive exploration via Identity Recognition~(AIR), which consists of two adversarial components: a classifier that recognizes agent identities from their trajectories, and an action selector that adaptively adjusts the mode and degree of exploration. We theoretically prove that AIR can facilitate both individual and collective exploration during training, and experiments also demonstrate the efficiency and effectiveness of AIR across various tasks.