Exponential Topology-enabled Scalable Communication in Multi-agent Reinforcement Learning
作者: Xinran Li, Xiaolu Wang, Chenjia Bai, Jun Zhang
分类: cs.MA, cs.AI, cs.LG
发布日期: 2025-02-27
备注: Accepted by the Thirteenth International Conference on Learning Representations (ICLR 2025)
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于指数拓扑的ExpoComm通信协议，解决大规模MARL中的可扩展通信问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体强化学习 通信协议 指数拓扑 可扩展性 全局信息
📋 核心要点
- 大规模MARL中，智能体数量增加导致部分可观测性问题加剧，现有成对通信方法难以扩展。
- 提出ExpoComm，利用指数拓扑的小直径和小尺寸特性，实现智能体间快速信息传播。
- 采用记忆消息处理器和辅助任务，确保消息反映全局信息，提升决策质量，实验证明其优越性。
📝 摘要（中文）
在合作多智能体强化学习(MARL)中，精心设计的通信协议能够有效促进智能体之间的共识，从而提高任务性能。尤其是在现实应用中常见的大规模多智能体系统中，由于相比小规模设置，部分可观测性的挑战加剧，有效的通信发挥着更为关键的作用。本文致力于为MARL开发一种可扩展的通信协议。不同于以往专注于选择最优成对通信链路的方法（随着智能体数量的增长，这项任务变得越来越复杂），我们从通信拓扑设计的全局视角出发。具体而言，我们提出利用指数拓扑，通过其小直径和小尺寸的特性，实现智能体之间信息的快速传播。这种方法产生了一种名为ExpoComm的可扩展通信协议。为了充分发挥指数图作为通信拓扑的潜力，我们采用基于记忆的消息处理器和辅助任务来 grounding 消息，确保它们反映全局信息并有益于决策。在包括MAgent和基础设施管理规划在内的大规模合作基准上的大量实验表明，与现有的通信策略相比，ExpoComm具有卓越的性能和强大的零样本迁移能力。代码已在https://github.com/LXXXXR/ExpoComm上公开。
🔬 方法详解
问题定义：论文旨在解决大规模多智能体强化学习（MARL）中通信的可扩展性问题。现有方法通常侧重于选择最优的成对通信链路，但随着智能体数量的增加，这种方法的计算复杂度呈指数级增长，难以应用于大规模场景。此外，智能体只能观察到局部信息，难以获得全局信息，影响协作效率。
核心思路：论文的核心思路是采用全局视角设计通信拓扑，利用指数拓扑的小直径和小尺寸特性，实现智能体之间信息的快速传播。指数拓扑能够保证任何两个智能体之间的通信路径长度较短，从而加快信息传递速度。同时，通过记忆机制和辅助任务，使智能体能够更好地理解和利用接收到的信息，提升决策能力。
技术框架：ExpoComm的整体框架包括以下几个主要模块：1) 智能体局部观测：每个智能体根据自身的环境进行局部观测。2) 指数拓扑通信：智能体通过指数拓扑结构与其他智能体进行消息传递。3) 记忆消息处理：使用基于记忆的消息处理器对接收到的消息进行处理，提取关键信息。4) 辅助任务：设计辅助任务，例如全局状态预测，帮助智能体更好地理解全局信息。5) 策略学习：利用强化学习算法，优化智能体的策略，使其能够更好地利用通信信息进行决策。
关键创新：论文最重要的技术创新点在于将指数拓扑引入到MARL的通信协议设计中。与传统的成对通信方法相比，指数拓扑能够实现更高效的信息传播，从而提高大规模MARL系统的性能。此外，论文还提出了基于记忆的消息处理器和辅助任务，进一步提升了智能体对全局信息的理解和利用能力。
关键设计：在指数拓扑的构建中，需要确定指数图的参数，例如节点的数量和连接方式。记忆消息处理器可以采用LSTM或Transformer等结构，用于提取消息中的关键信息。辅助任务的设计需要根据具体的应用场景进行调整，例如可以设计全局状态预测、奖励预测等任务。损失函数包括强化学习损失、辅助任务损失和正则化项，用于优化智能体的策略和消息处理能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ExpoComm在MAgent和基础设施管理规划等大规模合作基准测试中，性能优于现有的通信策略。尤其是在零样本迁移能力方面，ExpoComm表现出更强的鲁棒性，能够在不同的任务和环境中快速适应。具体性能提升数据未知，但论文强调了ExpoComm的优越性和可扩展性。
🎯 应用场景
该研究成果可应用于大规模多智能体协作的各种场景，例如交通管理、资源分配、机器人集群控制、以及智能电网等。通过高效的通信协议，可以提升系统的整体性能和鲁棒性，实现更智能化的决策和控制。未来，该方法有望进一步扩展到异构智能体系统和动态环境，具有广阔的应用前景。
📄 摘要（原文）
In cooperative multi-agent reinforcement learning (MARL), well-designed communication protocols can effectively facilitate consensus among agents, thereby enhancing task performance. Moreover, in large-scale multi-agent systems commonly found in real-world applications, effective communication plays an even more critical role due to the escalated challenge of partial observability compared to smaller-scale setups. In this work, we endeavor to develop a scalable communication protocol for MARL. Unlike previous methods that focus on selecting optimal pairwise communication links-a task that becomes increasingly complex as the number of agents grows-we adopt a global perspective on communication topology design. Specifically, we propose utilizing the exponential topology to enable rapid information dissemination among agents by leveraging its small-diameter and small-size properties. This approach leads to a scalable communication protocol, named ExpoComm. To fully unlock the potential of exponential graphs as communication topologies, we employ memory-based message processors and auxiliary tasks to ground messages, ensuring that they reflect global information and benefit decision-making. Extensive experiments on large-scale cooperative benchmarks, including MAgent and Infrastructure Management Planning, demonstrate the superior performance and robust zero-shot transferability of ExpoComm compared to existing communication strategies. The code is publicly available at https://github.com/LXXXXR/ExpoComm.