SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

📄 arXiv: 2610.13737v1 📥 PDF

作者: Hongrui Zheng, Aditya Singh, Rahul Mangharam

分类: cs.LG, cs.AI

发布日期: 2026-10-09

💡 一句话要点

提出SafeDiSTL以解决多智能体强化学习中的联合约束问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 信用分配 信号时序逻辑 鲁棒性 安全成功率 动态敏感性 交通控制 合作任务

📋 核心要点

  1. 现有的多智能体强化学习方法在处理共享约束时，无法有效区分各个智能体的行为对违规的具体影响。
  2. SafeDiSTL框架通过信号时序逻辑鲁棒性和可微动态，允许在联合约束下进行有效的信用分配，从而提升智能体的决策能力。
  3. 实验结果表明，SafeDiSTL在多种任务中均显著提高了安全成功率和系统吞吐量，展示了其在处理共享约束方面的优势。

📝 摘要（中文）

合作多智能体任务通常会对共享目标或集体安全施加约束。团队级的违规成本函数可以衡量这种约束结果，但无法区分哪些智能体的行为对违规影响最大。本文提出了SafeDiSTL，一个约束的多智能体强化学习框架，允许在联合约束测量下进行信用分配。我们利用信号时序逻辑（STL）鲁棒性通过运行最大成本增量来衡量每个回合的违规情况。平滑的全回合鲁棒性和可微动态提供了动作敏感性，这使得在同一决策时间内将每个成本增量分配到各个智能体。我们在合作货物运输、连接导航和网络交通控制任务中研究了该框架。与约束基线相比，SafeDiSTL在运输中实现了1.6-5.1倍的安全成功率，导航安全成功率提高了11.1%，在交通中提供了50-68%的更高吞吐量。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习中共享约束的信用分配问题。现有方法无法有效识别各个智能体的行为对违规的具体贡献，导致决策效率低下。

核心思路：SafeDiSTL框架通过引入信号时序逻辑（STL）鲁棒性，结合可微动态，能够在联合约束下实现智能体间的信用分配，从而提升决策的准确性和安全性。

技术框架：该框架主要包括三个模块：1) STL鲁棒性测量模块，用于评估回合级的违规情况；2) 动态敏感性计算模块，提供对每个智能体行为的敏感度分析；3) 信用分配模块，根据敏感度将成本增量合理分配给各个智能体。

关键创新：SafeDiSTL的主要创新在于其能够在联合约束下进行有效的信用分配，解决了传统方法无法区分智能体行为影响的问题，提升了多智能体系统的整体性能。

关键设计：在设计中，采用了平滑的全回合鲁棒性计算方法，确保了动态敏感性的准确性。此外，损失函数的设计考虑了延迟效应，使得智能体的决策更加合理。具体的网络结构和参数设置在实验中进行了优化，以确保最佳性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，SafeDiSTL在合作货物运输任务中实现了1.6-5.1倍的安全成功率，导航任务的安全成功率提高了11.1%，而在网络交通控制中，系统吞吐量提升了50-68%。这些结果表明，SafeDiSTL在处理共享约束时显著优于传统约束基线。

🎯 应用场景

SafeDiSTL框架具有广泛的应用潜力，特别是在需要多个智能体协同工作的场景中，如自动驾驶、无人机编队、智能交通系统等。其有效的信用分配机制能够提升系统的安全性和效率，未来可能在智能城市和物流管理等领域产生深远影响。

📄 摘要（原文）

Cooperative multi-agent tasks often impose constraints on a shared objective or collective safety. A team level violation cost function can measure this constraint outcome, but does not distinguish which agents' actions most strongly influence that violation. We present SafeDiSTL, a constrained multi-agent reinforcement learning framework that allows for credit assignment even with joint constraint measurements. We use Signal Temporal Logic (STL) robustness to measure episode-level violation through running-maximum cost increments. Smooth full-episode robustness and differentiable dynamics provide action sensitivities, which allocate each cost increment across agents at the same decision time. These sensitivities account for delayed effects when weighting agents' shares of each cost increment. We study the framework in cooperative payload transport, connected navigation, and networked traffic control tasks. SafeDiSTL achieves 1.6-5.1x the safe-success rate in transport, improves navigation safe-success by 11.1%, and delivers 50-68% more throughput in traffic when compared to constrained baselines. Results demonstrate a strong improvement of the learned policy in dealing with shared constraint while retaining the performance of unconstrained policies.