HypeMARL: Multi-Agent Reinforcement Learning For High-Dimensional, Parametric, and Distributed Systems

📄 arXiv: 2509.16709v1 📥 PDF

作者: Nicolò Botteghi, Matteo Tomasetto, Urban Fasel, Francesco Braghin, Andrea Manzoni

分类: cs.LG

发布日期: 2025-09-20

💡 一句话要点

HypeMARL：用于高维、参数化和分布式系统的多智能体强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 超网络 位置编码 偏微分方程控制 分布式系统

📋 核心要点

  1. 传统MARL在PDE约束控制等问题中，由于智能体局部性限制，难以实现全局最优的集体行为。
  2. HypeMARL利用超网络参数化智能体策略和价值函数，结合正弦位置编码，使智能体感知系统参数和相对位置。
  3. 实验表明，HypeMARL在控制性能、参数依赖性处理和样本效率方面优于现有去中心化MARL算法。

📝 摘要（中文）

深度强化学习已成为控制偏微分方程(PDEs)描述的复杂动态系统的有效反馈控制策略。针对状态和控制变量均为高维的分布式问题，多智能体强化学习(MARL)被认为是一种可扩展的降维方法。通过分散式训练和执行，多个智能体仅依赖局部状态和奖励信息协同工作，引导系统达到目标状态。然而，当智能体的集体、非局部行为对最大化奖励函数至关重要时（如PDE约束的最优控制问题），局部性原则可能成为限制因素。本文提出了HypeMARL，一种专门为控制高维、参数化和分布式系统设计的去中心化MARL算法。HypeMARL采用超网络有效地参数化智能体的策略和价值函数，使其能够感知系统参数和智能体的相对位置，后者通过正弦位置编码进行编码。在密度和流量控制等具有挑战性的控制问题上，实验表明HypeMARL (i)可以通过智能体的集体行为有效地控制系统，优于最先进的去中心化MARL算法，(ii)可以有效地处理参数依赖性，(iii)需要最少的超参数调整，以及(iv)通过其基于模型的扩展MB-HypeMARL，可以减少约10倍的昂贵环境交互，MB-HypeMARL依赖于计算高效的基于深度学习的替代模型，以最小的策略性能下降来局部逼近动态。

🔬 方法详解

问题定义：论文旨在解决高维、参数化和分布式系统的控制问题，特别是那些需要智能体之间进行非局部协作才能实现最优控制的场景。现有的去中心化MARL方法由于智能体只依赖局部信息，难以学习到全局最优的集体行为，导致控制性能受限。

核心思路：论文的核心思路是利用超网络来参数化每个智能体的策略和价值函数，使得智能体的行为能够依赖于全局系统参数以及智能体之间的相对位置关系。通过这种方式，智能体可以学习到更有效的集体行为，从而提升整体控制性能。

技术框架：HypeMARL采用去中心化的训练和执行框架。每个智能体都有自己的策略和价值函数，这些函数由超网络参数化。超网络接收系统参数和智能体的位置编码作为输入，生成智能体策略和价值函数的参数。在训练过程中，智能体根据局部状态和奖励信息进行学习。为了提高样本效率，论文还提出了MB-HypeMARL，它使用深度学习模型来近似环境动态，从而减少与真实环境的交互次数。

关键创新：HypeMARL的关键创新在于使用超网络来参数化智能体的策略和价值函数，并结合正弦位置编码来表示智能体之间的相对位置关系。这种方法使得智能体能够感知全局信息，从而学习到更有效的集体行为。与传统的去中心化MARL方法相比，HypeMARL能够更好地处理需要非局部协作的控制问题。

关键设计：HypeMARL使用正弦位置编码来表示智能体的位置信息，这是一种常用的位置编码方法，可以有效地表示高维空间中的位置关系。超网络的设计需要仔细考虑，以确保其能够有效地提取系统参数和位置编码中的信息，并生成合适的策略和价值函数参数。MB-HypeMARL中的环境动态模型可以使用各种深度学习模型来构建，例如神经网络或高斯过程。

📊 实验亮点

实验结果表明，HypeMARL在密度和流量控制等问题上优于现有的去中心化MARL算法。通过智能体的集体行为，HypeMARL能够更有效地控制系统。此外，MB-HypeMARL通过使用基于深度学习的替代模型，能够将环境交互次数减少约10倍，同时保持良好的策略性能。

🎯 应用场景

HypeMARL适用于各种高维、参数化和分布式系统的控制问题，例如：交通流量优化、能源分配、机器人集群控制、以及其他涉及偏微分方程约束的控制任务。该方法能够提升控制性能，降低计算成本，并减少对环境的交互次数，具有重要的实际应用价值。

📄 摘要（原文）

Deep reinforcement learning has recently emerged as a promising feedback control strategy for complex dynamical systems governed by partial differential equations (PDEs). When dealing with distributed, high-dimensional problems in state and control variables, multi-agent reinforcement learning (MARL) has been proposed as a scalable approach for breaking the curse of dimensionality. In particular, through decentralized training and execution, multiple agents cooperate to steer the system towards a target configuration, relying solely on local state and reward information. However, the principle of locality may become a limiting factor whenever a collective, nonlocal behavior of the agents is crucial to maximize the reward function, as typically happens in PDE-constrained optimal control problems. In this work, we propose HypeMARL: a decentralized MARL algorithm tailored to the control of high-dimensional, parametric, and distributed systems. HypeMARL employs hypernetworks to effectively parametrize the agents' policies and value functions with respect to the system parameters and the agents' relative positions, encoded by sinusoidal positional encoding. Through the application on challenging control problems, such as density and flow control, we show that HypeMARL (i) can effectively control systems through a collective behavior of the agents, outperforming state-of-the-art decentralized MARL, (ii) can efficiently deal with parametric dependencies, (iii) requires minimal hyperparameter tuning and (iv) can reduce the amount of expensive environment interactions by a factor of ~10 thanks to its model-based extension, MB-HypeMARL, which relies on computationally efficient deep learning-based surrogate models approximating the dynamics locally, with minimal deterioration of the policy performance.