MARL-GPT: Foundation Model for Multi-Agent Reinforcement Learning

📄 arXiv: 2604.05943v1 📥 PDF

作者: Maria Nesterova, Mikhail Kolosov, Anton Andreychuk, Egor Cherepanov, Oleg Bulichev, Alexey Kovalev, Konstantin Yakovlev, Aleksandr Panov, Alexey Skrynnik

分类: cs.AI

发布日期: 2026-04-07

备注: Accepted at AAMAS 2026 (AAAI Track)

💡 一句话要点

MARL-GPT：基于GPT的多智能体强化学习通用模型，实现跨环境任务泛化。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体强化学习 离线强化学习 Transformer模型 通用模型 泛化能力

📋 核心要点

  1. 现有MARL方法通常针对特定任务设计模型，泛化能力差，难以适应多样化的环境和任务。
  2. MARL-GPT利用离线强化学习，在大量专家轨迹上训练基于GPT的模型，学习跨环境的通用策略。
  3. 实验表明，MARL-GPT在SMAC、GRF和POGEMA等环境中表现出与专用模型相当的性能，验证了其泛化能力。

📝 摘要（中文）

多智能体强化学习(MARL)在众多挑战性领域和环境中取得了成功，但通常需要针对每个任务的专用模型。本文提出了一种连贯的方法，使单个基于GPT的模型能够在各种MARL环境和任务中学习并表现良好，包括星际争霸多智能体挑战赛(SMAC)、谷歌足球研究(GRF)和POGEMA。我们的方法MARL-GPT，应用离线强化学习，在大规模专家轨迹上进行训练（SMACv2为4亿，GRF为1亿，POGEMA为10亿），并结合一个无需特定任务调整的基于Transformer的观测编码器。实验表明，MARL-GPT在所有测试环境中都达到了与专用基线相比具有竞争力的性能。因此，我们的研究结果表明，构建一个用于各种（显著不同的）多智能体问题的多任务Transformer模型是可行的，为构建基础MARL模型（类似于自然语言建模中的ChatGPT、Llama、Mistral等）铺平了道路。

🔬 方法详解

问题定义：现有的多智能体强化学习方法通常需要为每个特定的环境和任务设计专门的模型。这种方法缺乏泛化能力，难以适应真实世界中复杂多变的应用场景。痛点在于模型无法在不同任务之间共享知识，需要大量的针对性训练。

核心思路：MARL-GPT的核心思路是利用Transformer模型强大的序列建模能力，将多智能体环境中的观测序列作为输入，通过大规模离线强化学习，学习一个通用的策略模型。该模型能够理解不同环境的规则和状态，并根据当前观测做出合适的决策，从而实现跨环境的泛化。

技术框架：MARL-GPT的整体框架包括三个主要模块：专家轨迹数据集、Transformer观测编码器和GPT策略模型。首先，收集不同MARL环境下的专家轨迹数据。然后，使用一个共享的Transformer编码器将不同环境的观测数据编码成统一的向量表示。最后，将编码后的观测向量输入到GPT策略模型中，预测每个智能体的动作。整个模型采用离线强化学习的方式进行训练。

关键创新：MARL-GPT的关键创新在于提出了一个通用的多智能体强化学习框架，该框架能够利用大规模离线数据学习跨环境的通用策略。与以往针对特定任务的模型不同，MARL-GPT无需针对每个新环境进行重新训练，大大提高了模型的泛化能力和应用效率。此外，使用Transformer作为观测编码器，能够有效地提取不同环境中的关键特征。

关键设计：MARL-GPT的关键设计包括：1) 大规模离线数据集：使用4亿条SMACv2轨迹、1亿条GRF轨迹和10亿条POGEMA轨迹进行训练。2) Transformer观测编码器：使用一个共享的Transformer编码器，将不同环境的观测数据编码成统一的向量表示。3) GPT策略模型：使用GPT模型作为策略模型，预测每个智能体的动作。4) 离线强化学习算法：采用离线强化学习算法，从专家轨迹中学习策略。具体的损失函数和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MARL-GPT在SMACv2、GRF和POGEMA等多个不同环境中取得了与专用基线模型具有竞争力的性能。具体性能数据未在摘要中给出，但强调了其在所有测试环境中均表现良好，证明了其跨环境的泛化能力。该模型无需针对特定任务进行调整，即可在多个环境中实现高性能，显著降低了开发成本。

🎯 应用场景

MARL-GPT的潜在应用领域包括：机器人协同控制、自动驾驶、智能交通、资源分配、博弈游戏等。该研究的实际价值在于降低了多智能体强化学习的应用门槛，使得开发者能够快速构建适用于各种复杂环境的智能体系统。未来，MARL-GPT有望成为多智能体领域的基础模型，推动相关技术的发展。

📄 摘要（原文）

Recent advances in multi-agent reinforcement learning (MARL) have demonstrated success in numerous challenging domains and environments, but typically require specialized models for each task. In this work, we propose a coherent methodology that makes it possible for a single GPT-based model to learn and perform well across diverse MARL environments and tasks, including StarCraft Multi-Agent Challenge, Google Research Football and POGEMA. Our method, MARL-GPT, applies offline reinforcement learning to train at scale on the expert trajectories (400M for SMACv2, 100M for GRF, and 1B for POGEMA) combined with a single transformer-based observation encoder that requires no task-specific tuning. Experiments show that MARL-GPT achieves competitive performance compared to specialized baselines in all tested environments. Thus, our findings suggest that it is, indeed, possible to build a multi-task transformer-based model for a wide variety of (significantly different) multi-agent problems paving the way to the fundamental MARL model (akin to ChatGPT, Llama, Mistral etc. in natural language modeling).