Fully Byzantine-Resilient Multi-Agent Reinforcement Learning

📄 arXiv: 2609.25701v1 📥 PDF

作者: Haejoon Lee, Dimitra Panagou

分类: cs.LG, cs.MA, eess.SY

发布日期: 2026-09-22

备注: 12 pages, 3 figures

💡 一句话要点

提出FRAC-MARL以解决分布式拜占庭鲁棒性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体系统 拜占庭鲁棒性 强化学习 去中心化 消息传递 合作控制 机器人技术

📋 核心要点

  1. 现有的多智能体强化学习方法在面对拜占庭攻击时，参数收敛性能较差，仅能达到攻击无效情况下的邻域。
  2. 本文提出FRAC-MARL，通过两跳消息冗余来识别可靠信息，从而实现完全的拜占庭鲁棒性。
  3. 实验结果表明，FRAC-MARL在多机器人编队控制任务中表现优异，参数收敛至攻击无效情况下的极限点。

📝 摘要（中文）

本文研究了一种分布式的拜占庭鲁棒演员-评论家多智能体强化学习（AC-MARL），其中智能体通过局部交互共同学习策略。现有方法仅能保证智能体参数收敛到无攻击极限点的邻域，导致性能下降。我们提出了完全鲁棒的AC-MARL（FRAC-MARL），该方法通过利用两跳消息中的冗余信息来识别可靠消息。在线性参数化的价值和团队奖励函数下，针对拜占庭边攻击，我们证明了智能体的参数几乎肯定地收敛到与无攻击情况相同的极限点。我们引入了一种新的拓扑条件以确保方法的收敛性，并提出了一种系统化的网络构建方法，证明了该条件可以在多项式时间内验证。最后，我们在合作多机器人编队控制任务中展示了该方法。

🔬 方法详解

问题定义：本文旨在解决分布式多智能体强化学习中的拜占庭攻击问题。现有方法在攻击情况下仅能保证参数收敛到无攻击极限点的邻域，导致性能下降。

核心思路：FRAC-MARL的核心思想是利用两跳消息中的冗余信息来识别和过滤不可靠的消息，从而实现对拜占庭攻击的完全鲁棒性。通过这种设计，智能体能够在动态变化的通信图中保持有效的学习过程。

技术框架：该方法采用去中心化的架构，智能体通过局部交互和信息共享来更新策略。主要模块包括消息传递、可靠消息识别和策略更新。

关键创新：FRAC-MARL引入了一种新的拓扑条件以确保收敛性，并提出了一种系统化的网络构建方法，能够在多项式时间内验证该条件。这一创新使得智能体在攻击情况下仍能有效收敛。

关键设计：在参数设置上，采用线性参数化的价值和团队奖励函数。损失函数设计上，强调了可靠消息的权重，以增强学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FRAC-MARL在多机器人编队控制任务中，智能体参数收敛至与无攻击情况下相同的极限点，显著提升了系统的鲁棒性和学习效率，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括多机器人系统、无人机编队、智能交通系统等，能够有效提高在恶劣环境下的协作能力和鲁棒性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study distributed Byzantine-resilient actor-critic multi-agent reinforcement learning (AC-MARL), where agents collectively learn policies through local interactions. Existing methods guarantee convergence of the agents' parameters only to a neighborhood of the attack-free limit points, resulting in degraded performance. We propose Fully Resilient AC-MARL (FRAC-MARL), a decentralized method in which each agent leverages redundancy in two-hop messages to identify reliable messages. Under linear parameterizations of the value and team-reward functions and Byzantine edge attacks, where adversarial behavior is confined to the communication layer, we prove that agents' parameters converge almost surely to the same limit points as in the attack-free case over time-varying communication graphs. We introduce a novel topological condition for the convergence of our method, present a systematic method to construct such networks, and prove that this condition can be verified in polynomial time. Finally, we demonstrate our method on cooperative multi-robot formation control tasks.