Comparative Study of Multi-Agent Actor-Critic Algorithms in Parameterized Action Reinforcement Learning

📄 arXiv: 2607.19117v1 📥 PDF

作者: Ubayd Ali Bapoo, Clement N Nyirenda

分类: cs.AI

发布日期: 2026-07-21

备注: 9 pages, 2 figures

💡 一句话要点

提出多智能体扩展的演员-评论家算法以提升参数化动作强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体学习 演员-评论家算法 参数化动作 强化学习 共享经验 性能评估 计算效率

📋 核心要点

  1. 现有的单智能体演员-评论家算法在多智能体环境中的应用效果尚未得到充分验证，存在扩展性不足的问题。
  2. 本文提出了多智能体贪婪演员-评论家、多智能体软演员-评论家和多智能体截断分位数评论家的共享经验框架，旨在提升多智能体学习的效率。
  3. 实验结果显示，多智能体框架在贪婪演员-评论家的性能上有显著提升，而其他算法的增益相对较小，且增加代理数量的收益有限。

📝 摘要（中文）

参数化动作强化学习在需要离散动作选择和连续参数化的环境中表现出色。尽管已有研究证明了单智能体演员-评论家算法（如贪婪演员-评论家、软演员-评论家和截断分位数评论家）在基准任务中的有效性，但其在多智能体环境中的扩展尚未得到充分探索。本文比较了这些算法的共享经验多智能体扩展，提出了多智能体贪婪演员-评论家、多智能体软演员-评论家和多智能体截断分位数评论家。与集中训练、分散执行的范式不同，所提出的框架使用多个独立的演员-评论家代理，共享重放缓冲区，同时保持独立的策略和价值网络。实验结果表明，多智能体框架在贪婪演员-评论家的性能上有显著提升，而其他算法的增益相对较小。增加代理数量超过五个时，性能提升有限，但计算成本显著增加。

🔬 方法详解

问题定义：本文旨在解决单智能体演员-评论家算法在多智能体环境中的扩展性不足问题，现有方法在多智能体设置下的性能未得到充分验证。

核心思路：提出的框架通过多个独立的演员-评论家代理共享重放缓冲区，保持独立的策略和价值网络，避免了集中训练的复杂性，旨在提高多智能体学习的效率和性能。

技术框架：整体架构包括多个独立的智能体，每个智能体都有自己的策略和价值网络，同时共享重放缓冲区。算法在Platform-v0和Goal-v0基准上进行评估，使用三、五和十个智能体的配置进行可扩展性测试。

关键创新：最重要的创新在于提出了共享经验的多智能体框架，区别于传统的集中训练、分散执行范式，能够更有效地利用经验，提高学习效率。

关键设计：在算法设计中，采用了独立的策略和价值网络，重放缓冲区的共享机制，以及使用单向ANOVA和Tukey HSD后续检验来评估统计显著性，确保实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，多智能体框架在贪婪演员-评论家的性能上有显著提升，具体表现为在多个基准测试中，平均评估回报显著高于单智能体版本。尽管MASAC和MATQC的增益相对较小，但在五个代理的配置下，整体性能提升仍然可观，且计算成本显著增加。

🎯 应用场景

该研究的潜在应用领域包括多智能体系统的协作任务，如机器人群体控制、智能交通系统和游戏AI等。通过提升多智能体学习的效率，能够在复杂环境中实现更高效的决策和协作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Parameterized action reinforcement learning has shown strong performance in environments requiring both discrete action selection and continuous parameterization. Prior work established the effectiveness of single-agent actor-critic algorithms - Greedy Actor-Critic (GAC), Soft Actor-Critic (SAC), and Truncated Quantile Critics (TQC) - on benchmark parameterized action tasks, but their extension to multi-agent settings remains largely unexplored. This paper presents a comparative study of shared-experience multi-agent extensions of these algorithms: Multi-Agent Greedy Actor-Critic (MAGAC), Multi-Agent Soft Actor-Critic (MASAC), and Multi-Agent Truncated Quantile Critics (MATQC). Rather than following the centralized training, decentralized execution (CTDE) paradigm, the proposed framework uses multiple independent actor-critic agents that share a replay buffer while maintaining separate policy and value networks. We evaluate the algorithms on the Platform-v0 and Goal-v0 benchmarks against their single-agent counterparts, using three-, five-, and ten-agent configurations to assess scalability. Performance is measured by average evaluation return and training time across ten independent runs, with one-way ANOVA and Tukey HSD post-hoc tests used to assess statistical significance. Results show that the multi-agent framework consistently improves Greedy Actor-Critic performance, while MASAC and MATQC show comparatively modest gains over their single-agent versions. Increasing the number of agents beyond five yields limited additional performance while substantially raising computational cost, particularly for MAGAC. These results highlight a trade-off between learning performance and computational efficiency, offering insight into the scalability of shared-experience multi-agent actor-critic methods for parameterized action reinforcement learning.