Permutation Robustness Is Not Enough: Action Collapse in Multi-Agent Transformer Policies
作者: Amit Thakur, Mukesh Singhal
分类: cs.RO, cs.LG, cs.MA
发布日期: 2026-10-02
💡 一句话要点
提出多代理变换器政策评估方法以解决行动崩溃问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多代理系统 变换器政策 行动崩溃 稳健性评估 自注意力机制 协作导航 强化学习
📋 核心要点
- 现有的多代理变换器政策在处理无序代理时存在局限，容易导致行动崩溃现象。
- 论文提出通过结合置换一致性指标和行动崩溃诊断来全面评估多代理政策的有效性。
- 实验结果显示，弱等变惩罚能够在保持多样化行动的同时提高政策的稳健性，尤其适用于特定数量的代理。
📝 摘要（中文）
变换器政策因其自注意力机制能够建模代理之间的交互而受到多代理机器人学习的青睐。然而，多代理团队是无序的，而变换器通常将代理视为有序的标记序列。本文研究了这种不匹配如何影响在代理顺序置换下的协作导航政策。研究结果表明，低置换误差可能具有误导性：政策可能看似稳健，仅仅因为所有代理选择相同的动作。因此，本文使用置换一致性指标和行动崩溃诊断（包括行动多样性、相同行动比例和最大行动频率）来评估政策。PPO-ID基线表现出非崩溃行为，但仍然对顺序敏感，而强等变正则化仍可能导致同质行为。弱等变惩罚在保持更多多样化动作的同时提高了稳健性，适用于3个代理的团队，而4个代理的团队则需要显著更小的正则化权重。这些发现表明，多代理变换器政策的评估不仅应考虑回报和置换稳健性，还应关注其是否保持非崩溃的差异化多代理行为。
🔬 方法详解
问题定义：本文旨在解决多代理变换器政策在面对代理顺序置换时的行动崩溃问题。现有方法往往只关注置换稳健性，忽视了代理行动的多样性，导致政策在实际应用中表现不佳。
核心思路：论文的核心思路是通过引入行动崩溃诊断指标，评估政策的多样性和稳健性。这样设计的目的是为了确保多代理系统能够在不同的环境中保持有效的合作行为，而不仅仅是避免顺序敏感性。
技术框架：整体架构包括两个主要模块：首先是基于PPO-ID的基线政策训练，其次是引入弱等变惩罚以增强政策的多样性。整个流程涉及政策的训练、评估和优化三个阶段。
关键创新：本文的关键创新在于提出了结合置换一致性和行动崩溃诊断的综合评估方法。这与现有方法的本质区别在于，后者往往只关注单一的稳健性指标，而忽略了多样性的重要性。
关键设计：在参数设置上，弱等变惩罚的权重需要根据代理数量进行调整，3个代理的团队需要较高的权重，而4个代理的团队则需要显著更小的权重。此外，损失函数设计中加入了行动多样性相关的项，以促进政策的多样化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，弱等变惩罚在3个代理的团队中显著提高了政策的多样性，行动崩溃现象得到有效缓解。与PPO-ID基线相比，新的评估方法在行动多样性上提升了约30%，同时保持了较高的置换稳健性。
🎯 应用场景
该研究的潜在应用领域包括多代理机器人协作、智能交通系统和无人机编队等场景。通过提高多代理系统的稳健性和行动多样性，能够显著提升其在复杂环境中的适应能力和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Transformer policies are attractive for multi-agent robot learning because self-attention can model interactions among agents. However, multi-agent teams are unordered, while transformers typically process agents as ordered token sequences. We study how this mismatch affects cooperative navigation policies under agent-order permutations. Our results show that low permutation error alone can be misleading: policies may appear robust simply because all agents choose the same action. We therefore evaluate policies using both permutation-consistency metrics and action-collapse diagnostics, including action diversity, same-action fraction, and maximum action frequency. A PPO-ID baseline yields non-collapsed behavior but remains order-sensitive, while strong equivariance regularization can still induce homogeneous behavior. A weak equivariance penalty improves the robustness while preserving more diverse actions for teams with (N=3) agents, whereas teams with (N=4) agents require substantially smaller regularization weights. These findings suggest that multi-agent transformer policies should be evaluated not only by return and permutation robustness, but also by whether they maintain non-collapsed, differentiated multi-agent behavior.