Scalable Constrained Multi-Agent Reinforcement Learning via State Augmentation and Consensus for Separable Dynamics
作者: Santiago Amaya-Corredor, Miguel Calvo-Fullana, Anders Jonsson
分类: cs.LG, cs.AI
发布日期: 2026-05-28
备注: 17 pages, 8 figures, 3 tables. Plus appendix
💡 一句话要点
提出基于状态增强和共识机制的可扩展约束多智能体强化学习方法，解决可分离动态系统中的资源约束问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 约束优化 分布式共识 状态增强 可分离动态
📋 核心要点
- 现有独立学习的MARL方法难以处理具有全局资源约束的可分离动态系统，因为智能体无法确定自身对集体约束满足的贡献。
- 通过状态增强策略学习和对偶变量上的分布式共识，智能体仅需本地通信即可对约束反馈达成一致，实现全局协调的约束执行。
- 实验表明，共识协调对于可行性至关重要，该方法能够扩展到数千个智能体，优于复杂度随智能体数量呈二次方增长的CTDE方法。
📝 摘要（中文）
本文提出了一种分布式的约束多智能体强化学习(MARL)方法，该方法结合了状态增强策略学习和对偶变量上的分布式共识。该方法针对的是智能体具有可分离动态但必须协调以满足全局资源约束的系统。在这样的环境中，独立学习无法产生可行的解决方案，因为智能体无法确定对集体约束满足的适当个体贡献。关键的技术贡献在于证明了拉格朗日乘子上的轻量级邻居到邻居共识足以实现全局协调的约束执行，同时保持独立训练的可扩展性。每个智能体离线学习一个单一的增强策略，该策略以其局部状态和编码约束反馈的对偶变量为条件。在执行过程中，智能体仅通过本地通信就对该对偶变量达成一致。证明了在温和的连通性假设下，智能体乘数之间的共识误差是有界的，并且表明这转化为有界的约束违反，该约束违反随着图连通性和共识轮数的增加而减少。与集中式训练和分散式执行(CTDE)方法不同，CTDE方法的复杂度至少以智能体数量的二次方增长，而本文的方法在训练和执行中都呈线性扩展。在智能电网需求响应的实验表明，共识协调对于可行性至关重要：没有它，智能体只能通过无限期地推迟需求来满足电网容量约束，这是一种退化的非解决方案。通过共识，智能体收敛到共享的对偶变量，并满足电网约束和需求满足，扩展到数千个智能体，而CTDE基线仅限于几十个。
🔬 方法详解
问题定义：论文旨在解决具有可分离动态的多智能体系统中的全局资源约束问题。现有方法，特别是独立学习的MARL方法，在处理此类问题时存在局限性。由于每个智能体只关注自身局部状态，无法感知全局资源约束，导致无法做出协调一致的决策，最终无法满足全局约束条件。例如，在智能电网需求响应中，每个用户独立决策可能导致总需求超过电网容量。
核心思路：论文的核心思路是通过引入对偶变量和共识机制，将全局约束信息传递给每个智能体。每个智能体学习一个增强策略，该策略不仅考虑局部状态，还考虑一个对偶变量，该变量编码了全局约束的反馈信息。通过邻居间的共识算法，智能体们可以就该对偶变量达成一致，从而实现全局协调的约束执行。这种方法既能保持独立训练的可扩展性，又能有效地满足全局约束。
技术框架：该方法包含两个主要阶段：离线训练阶段和在线执行阶段。在离线训练阶段，每个智能体学习一个状态增强策略，该策略以局部状态和对偶变量为输入。在在线执行阶段，智能体首先通过邻居间的共识算法对对偶变量达成一致，然后根据学习到的策略做出决策。整个框架是分布式的，每个智能体只需要与邻居进行通信，无需中心化的协调器。
关键创新：该方法最重要的技术创新点在于将状态增强策略学习与分布式共识机制相结合。与传统的CTDE方法相比，该方法具有更好的可扩展性，因为其复杂度与智能体数量呈线性关系。此外，该方法不需要中心化的协调器，更适合于大规模的分布式系统。通过轻量级的邻居到邻居共识，可以实现全局协调的约束执行，同时保持独立训练的优势。
关键设计：关键设计包括：1) 状态增强策略的学习，需要选择合适的强化学习算法，例如DQN或Actor-Critic方法；2) 对偶变量的编码方式，需要选择合适的函数来表示全局约束的反馈信息；3) 共识算法的选择，需要考虑收敛速度和通信开销；4) 图的连通性，需要保证智能体之间能够有效地传递信息。论文证明了在温和的连通性假设下，共识误差是有界的，并且约束违反随着图连通性和共识轮数的增加而减少。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在智能电网需求响应场景中，该方法能够有效地满足电网容量约束和用户需求，并且能够扩展到数千个智能体，而CTDE基线仅限于几十个智能体。与没有共识的独立学习方法相比，该方法能够避免无限期推迟需求的退化解，显著提高了系统的可行性和效率。实验数据表明，共识协调对于可行性至关重要。
🎯 应用场景
该研究成果可广泛应用于需要多智能体协作并满足全局资源约束的场景，例如智能电网需求响应、交通流量控制、机器人集群控制、分布式计算资源管理等。通过该方法，可以实现大规模分布式系统的优化控制，提高资源利用率，降低运营成本，并提升系统的鲁棒性和可扩展性。未来，该方法有望应用于更复杂的实际场景，例如智慧城市、工业自动化等。
📄 摘要（原文）
We present a distributed approach for constrained Multi-Agent Reinforcement Learning (MARL) that combines state-augmented policy learning with distributed consensus over dual variables. Our method targets systems where agents have separable dynamics but must coordinate to satisfy global resource constraints, a setting in which, as we demonstrate empirically, independent learning fails to produce feasible solutions because agents cannot determine appropriate individual contributions toward collective constraint satisfaction. The key technical contribution is showing that lightweight neighbor-to-neighbor consensus over Lagrange multipliers suffices for globally coordinated constraint enforcement while preserving the scalability of independent training. Each agent learns a single augmented policy offline, conditioned on both its local state and a dual variable encoding constraint feedback. During execution, agents reach agreement on this dual variable through local communication alone. We prove that under mild connectivity assumptions, the consensus error among agents' multipliers is bounded, and show that this translates to a bounded constraint violation that decreases with graph connectivity and the number of consensus rounds. Unlike centralized training with decentralized execution (CTDE) approaches, whose complexity grows at least quadratically with agent count, our method scales linearly in both training and execution. Experiments on smart grid demand response demonstrate that consensus coordination is \emph{essential for feasibility}: without it, agents satisfy grid capacity constraints only by indefinitely postponing demand, a degenerate non-solution. With consensus, agents converge to a shared dual variable and satisfy both grid constraints and demand fulfillment, scaling to thousands of agents while CTDE baselines are limited to dozens.