Turnover-Orthogonal Credit Assignment for Open-Team Multi-Agent Reinforcement Learning

📄 arXiv: 2610.02847v1 📥 PDF

作者: Amit Thakur, Mukesh Singhal

分类: cs.MA, cs.LG

发布日期: 2026-10-02

💡 一句话要点

提出TOCA以解决开放团队多智能体强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 信用分配 动态环境 合作系统 转变正交机制 鲁棒学习 事件条件价值分解

📋 核心要点

  1. 现有方法将动作效应与外部变动混合，导致智能体在不可控事件中受到不公正的奖励或惩罚。
  2. 提出TOCA，通过事件条件的价值分解，明确区分动作效应与转变效应，提升团队的学习鲁棒性。
  3. 实验表明，TOCA在动态环境中显著提高了回报，尤其是在高变动率的情况下，优于传统的MAPPO风格评论员。

📝 摘要（中文）

开放团队多智能体强化学习研究的是在智能体可以在一个回合中加入、离开或被替换的合作系统。在这种情况下，团队的回报不仅受到智能体选择有用动作的影响，还受到活跃智能体数量变化的影响。标准的集中式评论员和共享优势往往将这两种效应混合成一个标量信用信号，使得存活的智能体可能因外部的变动事件而受到奖励或惩罚。本文提出了转变正交信用分配（TOCA），一种价值分解方法，能够将动作效应、纯转变效应和动作-转变交互分开。通过事件条件的价值分解，TOCA能够去除纯转变成分，同时保留对使团队在未来替换中更具鲁棒性的动作的信用。实验结果表明，TOCA在高变动率的环境中表现优于现有方法。

🔬 方法详解

问题定义：本文解决的是开放团队多智能体强化学习中的信用分配问题，现有方法未能有效区分智能体的动作效应与外部变动效应，导致不公平的奖励机制。

核心思路：TOCA通过引入事件条件的价值分解，明确分离动作效应、纯转变效应和动作-转变交互，从而为智能体提供更准确的信用信号，增强学习的鲁棒性。

技术框架：整体架构包括一个集中式评论员，能够处理可变大小的智能体集合和事件标记。TOCA的设计允许在动态环境中进行有效的信用分配。

关键创新：TOCA的核心创新在于其转变正交的信用分配机制，能够在动态团队中有效分离外部变动与智能体动作的影响，这与现有方法的混合信用机制形成鲜明对比。

关键设计：TOCA采用了事件条件的基线设计，去除了纯转变成分，并保留了对智能体在未来替换中表现出的鲁棒性动作的信用。此外，TOCA-$β$变体在高方差控制环境中引入了软权重交互机制，进一步提升了性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，TOCA在动态传播基准测试中，在高变动率下实现了最佳的平均回报，相较于无交互的消融实验，性能显著提升。这表明明确区分转变与动作信用的原则在动态合作团队中具有重要的实用价值。

🎯 应用场景

该研究在动态合作系统中具有广泛的应用潜力，尤其是在多智能体系统、机器人团队协作和智能交通管理等领域。通过明确的信用分配机制，TOCA能够提升系统的整体性能和鲁棒性，促进智能体在复杂环境中的有效学习与适应。

📄 摘要（原文）

Open-team multi-agent reinforcement learning studies cooperative systems in which agents may join, leave, or be replaced during an episode. In such settings, the team return changes both because agents choose useful actions and because the active population itself changes. Standard centralized critics and shared advantages often mix these two effects into one scalar credit signal, allowing surviving agents to be rewarded or penalized for exogenous turnover events outside their control. We introduce turnover-orthogonal credit assignment (TOCA), a value decomposition for open teams that separates action effects, pure turnover effects, and action--turnover interactions. Under exogenous turnover, the event-conditioned value admits a centered decomposition whose event-conditioned baseline removes the pure turnover component while preserving credit for actions that make the team robust to future replacements. We instantiate this idea with a permutation-invariant centralized critic over variable-size agent sets and event tokens, and derive both a counterfactual per-agent credit signal and a softly weighted interaction variant, TOCA-$β$, for high-variance control environments. Controlled diagnostic experiments show that TOCA improves return over event-aware MAPPO-style critics and that removing interaction credit substantially hurts performance. In a replacement-only Dynamic Spread benchmark, TOCA-$β$ achieves the best mean return at high turnover rates and improves over its no-interaction ablation. These results suggest that explicitly separating turnover from action credit is a useful principle for robust learning in dynamic cooperative teams.