HySTAR: Anchored Hypergraphs for Stable Credit Assignment in Cooperative Multi-Agent Reinforcement Learning

📄 arXiv: 2609.31531v1 📥 PDF

作者: Xinglong Luo, Yuding Zhang, Yuheng Kuang, Shuxuan Yuan, Zhenni Zeng, Weiqiang Zhu, Zhenhai Ji, Zhengning Wang

分类: cs.LG

发布日期: 2026-09-25

💡 一句话要点

提出HySTAR以解决合作多智能体强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 合作多智能体学习 信用分配 超图 MAPPO 时空编码器 强化学习 结构目标漂移

📋 核心要点

  1. 现有的合作多智能体强化学习方法在部分可观测环境下，面临信用分配不一致的问题，导致结构目标漂移。
  2. HySTAR框架通过分离自适应表示学习与高阶价值分解，利用重叠稀疏超图来稳定信用分配，提升学习效果。
  3. 在SMAC、GRF、Traffic Junction和MPE等实验中，HySTAR在多个场景中均表现出显著的性能提升，尤其在SMAC中相较于MAPPO提升16.7%。

📝 摘要（中文）

在部分可观测和共享奖励的合作多智能体强化学习中，需要将团队结果分配给个体智能体和高阶联盟。现有的MAPPO风格评论员将联合行为压缩为一个全局值，而动态重构分组拓扑的评论员则随着交互或活跃智能体的演变改变从智能体和联盟到价值组件的映射。我们称这种不一致为结构目标漂移。本文提出了HySTAR，一个基于MAPPO的框架，分离自适应表示学习与时间一致的高阶价值分解基础。HySTAR锚定一个重叠稀疏超图作为均匀覆盖的分解支架，使用时空编码器表示物理和任务依赖的交互，并结合时间和结构相关性构建特定于智能体的优势。实验结果表明，HySTAR在多个基准测试中相较于现有方法有显著提升。

🔬 方法详解

问题定义：本文解决的是在合作多智能体强化学习中，如何在部分可观测和共享奖励的环境下有效地将团队结果分配给个体智能体和高阶联盟的问题。现有方法如MAPPO存在结构目标漂移，导致信用分配不一致。

核心思路：HySTAR的核心思路是通过分离自适应表示学习与时间一致的高阶价值分解基础，利用重叠稀疏超图作为分解支架，从而稳定信用分配并提升学习效果。

技术框架：HySTAR框架包括几个主要模块：首先是重叠稀疏超图的构建，其次是时空编码器用于表示物理和任务依赖的交互，最后结合时间和结构相关性来构建智能体特定的优势。

关键创新：HySTAR的主要创新在于引入了重叠稀疏超图作为分解支架，解决了现有方法中动态重构分组拓扑带来的不一致性问题，从而有效地减少了结构目标漂移。

关键设计：在设计上，HySTAR采用了特定的损失函数来优化信用分配，同时在网络结构中引入了时空编码器，以便更好地捕捉智能体间的交互关系。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

HySTAR在多个基准测试中表现出色，尤其在SMAC的最难设置中，相较于MAPPO提升了16.7%，在所有六个GRF场景中排名第一，Traffic Junction的收敛周期减少了40.2%，并在MPE中获得了最高的回合奖励，显示出其优越的性能。

🎯 应用场景

该研究在多智能体系统、机器人协作、智能交通等领域具有广泛的应用潜力。通过稳定的信用分配机制，HySTAR能够提升智能体在复杂环境中的协作能力，促进更高效的决策和任务执行，未来可能对智能体的自主学习和协作行为产生深远影响。

📄 摘要（原文）

Cooperative multi-agent reinforcement learning under partial observability and shared rewards requires assigning team outcomes to individual agents and high-order coalitions. A MAPPO-style critic compresses joint behavior into one global value, while critics that dynamically reconstruct the grouping topology change the mapping from agents and coalitions to value components as interactions or active agents evolve. We refer to this inconsistency as structural target drift. We introduce HySTAR, a MAPPO-based framework that separates adaptive representation learning from a temporally consistent high-order value-decomposition basis. HySTAR anchors an overlapping sparse hypergraph as a uniformly covered decomposition scaffold, uses a spatiotemporal encoder to represent physical and task-dependent interactions, and combines temporal and structural relevance to construct agent-specific advantages. Experiments on SMAC, GRF, Traffic Junction, and MPE demonstrate consistent improvements over MAPPO-style, value-factorization, and dynamic-grouping baselines. On the hardest SMAC settings, HySTAR achieves relative gains of 16.7\% over MAPPO and 15.6\% over HYGMA, ranks first on all six GRF scenarios, reduces Traffic Junction convergence epochs by up to 40.2\% relative to MAGIC, and obtains the highest MPE episode rewards. Controlled topology, agent-death, neighborhood, and parameter analyses support the benefit of anchoring the decomposition scaffold while adapting the propagated representations.