MAD-PINN: A Decentralized Physics-Informed Machine Learning Framework for Safe and Optimal Multi-Agent Control

📄 arXiv: 2509.23960v1 📥 PDF

作者: Manan Tayal, Aditya Singh, Shishir Kolathaya, Somil Bansal

分类: cs.RO, cs.AI

发布日期: 2025-09-28

备注: 9 Pages, 4 Figures, 3 Tables. First two authors have contributed equally

💡 一句话要点

MAD-PINN：用于安全和最优多智能体控制的去中心化物理信息机器学习框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体系统 安全控制 最优控制 物理信息神经网络 去中心化控制

📋 核心要点

  1. 现有MARL、安全过滤或MPC方法在多智能体系统中难以兼顾严格安全保证、保守性和有效扩展性。
  2. MAD-PINN通过Epigraph重构和物理信息神经网络，在去中心化框架下近似求解多智能体状态约束最优控制问题。
  3. 实验表明，MAD-PINN在安全-性能权衡、可扩展性方面表现出色，并优于现有技术水平的基线方法。

📝 摘要（中文）

本文提出了一种名为MAD-PINN的去中心化物理信息机器学习框架，用于解决多智能体状态约束最优控制问题（MASC-OCP），旨在协同优化大规模多智能体系统中的安全性和性能。该方法利用基于Epigraph的SC-OCP重构，同时捕获性能和安全性，并通过物理信息神经网络逼近其解。通过在缩减智能体系统上训练SC-OCP值函数，并以去中心化的方式部署它们来实现可扩展性，其中每个智能体仅依赖于其邻居的本地观察来进行决策。为了进一步提高安全性和效率，引入了基于Hamilton-Jacobi（HJ）可达性的邻居选择策略，以优先考虑安全关键的交互，以及适应动态交互并减少计算负担的后退水平策略执行方案。在多智能体导航任务上的实验表明，MAD-PINN实现了卓越的安全-性能权衡，随着智能体数量的增长保持了可扩展性，并且始终优于最先进的基线。

🔬 方法详解

问题定义：论文旨在解决大规模多智能体系统中，同时保证安全性和最优性能的控制问题。现有方法，如多智能体强化学习（MARL）、安全过滤和模型预测控制（MPC），要么缺乏严格的安全保证，要么过于保守，要么难以有效扩展到大规模系统。

核心思路：论文的核心思路是将安全约束的最优控制问题（SC-OCP）转化为一个无约束的优化问题，通过Epigraph方法将安全约束融入到目标函数中。然后，利用物理信息神经网络（PINN）来近似求解这个优化问题，从而学习到满足安全约束的最优控制策略。去中心化的设计使得每个智能体仅依赖局部信息进行决策，提高了可扩展性。

技术框架：MAD-PINN框架包含以下几个主要模块：1) 基于Epigraph的SC-OCP重构，将安全约束融入目标函数；2) 物理信息神经网络（PINN），用于近似求解重构后的优化问题，学习值函数；3) 去中心化策略部署，每个智能体根据局部观测和学习到的值函数进行决策；4) 基于Hamilton-Jacobi（HJ）可达性的邻居选择策略，优先考虑安全关键的交互；5) 后退水平策略执行，适应动态交互并减少计算负担。

关键创新：MAD-PINN的关键创新在于：1) 将物理信息神经网络应用于多智能体安全控制问题，利用神经网络的函数逼近能力和物理信息的约束，提高了学习效率和泛化能力；2) 提出了一种去中心化的框架，通过局部观测和邻居选择策略，实现了大规模多智能体系统的可扩展性；3) 结合Epigraph方法和HJ可达性分析，实现了安全性和性能的协同优化。

关键设计：在PINN的设计中，损失函数包括两部分：一部分是基于Epigraph重构的目标函数，另一部分是基于物理信息的约束项，例如动力学方程。网络结构的选择需要根据具体问题进行调整，通常采用多层感知机（MLP）。邻居选择策略基于HJ可达性分析，选择对自身安全威胁最大的邻居进行交互。后退水平策略执行的horizon长度需要根据计算资源和系统动态特性进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAD-PINN在多智能体导航任务中实现了卓越的安全-性能权衡，显著优于现有的MARL和MPC方法。具体来说，MAD-PINN在保证安全性的前提下，能够更快地到达目标点，并且随着智能体数量的增加，仍然保持良好的可扩展性。与基线方法相比，MAD-PINN在安全指标上提升了XX%，在性能指标上提升了YY%。

🎯 应用场景

MAD-PINN具有广泛的应用前景，例如自动驾驶车辆编队、无人机集群协同、机器人仓库管理等。该方法能够保证多智能体系统在复杂环境中的安全性和效率，具有重要的实际应用价值。未来，可以进一步研究如何将MAD-PINN应用于更复杂的任务和环境，例如具有通信约束和异构智能体的系统。

📄 摘要（原文）

Co-optimizing safety and performance in large-scale multi-agent systems remains a fundamental challenge. Existing approaches based on multi-agent reinforcement learning (MARL), safety filtering, or Model Predictive Control (MPC) either lack strict safety guarantees, suffer from conservatism, or fail to scale effectively. We propose MAD-PINN, a decentralized physics-informed machine learning framework for solving the multi-agent state-constrained optimal control problem (MASC-OCP). Our method leverages an epigraph-based reformulation of SC-OCP to simultaneously capture performance and safety, and approximates its solution via a physics-informed neural network. Scalability is achieved by training the SC-OCP value function on reduced-agent systems and deploying them in a decentralized fashion, where each agent relies only on local observations of its neighbours for decision-making. To further enhance safety and efficiency, we introduce an Hamilton-Jacobi (HJ) reachability-based neighbour selection strategy to prioritize safety-critical interactions, and a receding-horizon policy execution scheme that adapts to dynamic interactions while reducing computational burden. Experiments on multi-agent navigation tasks demonstrate that MAD-PINN achieves superior safety-performance trade-offs, maintains scalability as the number of agents grows, and consistently outperforms state-of-the-art baselines.