Novelty-Guided Data Reuse for Efficient and Diversified Multi-Agent Reinforcement Learning

📄 arXiv: 2412.15517v1 📥 PDF

作者: Yangkun Chen, Kai Yang, Jian Tao, Jiafei Lyu

分类: cs.LG

发布日期: 2024-12-20

备注: AAAI 2025

💡 一句话要点

提出基于新颖性引导的数据重用方法，提升多智能体强化学习效率与多样性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 样本重用 新颖性驱动 随机网络蒸馏 探索与利用

📋 核心要点

  1. 现有MARL方法在样本利用率和策略多样性方面存在不足，限制了其在复杂环境中的应用。
  2. 论文提出MANGER方法，利用RND网络评估状态新颖性，并据此动态调整样本重用频率，提升学习效率。
  3. 实验表明，MANGER在Google Research Football和StarCraft II等复杂任务中显著提升了MARL性能。

📝 摘要（中文）

近年来，深度多智能体强化学习(MARL)在解决复杂合作任务方面展现出巨大潜力，推动了人工智能在协作环境中的发展。然而，这些系统的效率常常因样本利用不足和学习策略缺乏多样性而受到影响。为了提高MARL的性能，我们提出了一种新颖的样本重用方法，该方法基于观察的新颖性动态调整策略更新。具体来说，我们采用随机网络蒸馏(RND)网络来评估每个智能体当前状态的新颖性，并根据数据的独特性分配额外的样本更新机会。我们将我们的方法命名为多智能体新颖性引导的样本重用(MANGER)。该方法提高了样本效率，并促进了探索和多样化的智能体行为。我们的评估证实了在复杂合作场景（如Google Research Football和超难的StarCraft II微操任务）中，MARL的有效性得到了显著提高。

🔬 方法详解

问题定义：现有的多智能体强化学习方法在复杂环境中面临样本效率低下的问题。智能体探索新状态的频率较低，导致学习过程缓慢且容易陷入局部最优。此外，智能体策略的同质化也限制了整体性能的提升。因此，如何更有效地利用已有样本，并鼓励智能体探索多样化的行为，是MARL领域亟待解决的问题。

核心思路：MANGER的核心思想是根据智能体观察到的状态的新颖性来动态调整样本的重用频率。对于新颖性高的状态，给予更多的学习机会，从而提高样本利用率并促进探索。通过鼓励智能体探索未知的状态空间，可以提高策略的多样性，并最终提升整体性能。

技术框架：MANGER方法主要包含以下几个模块：1) 智能体与环境交互，收集经验样本；2) 使用随机网络蒸馏(RND)网络评估每个智能体当前状态的新颖性；3) 根据新颖性得分，为每个样本分配一个重用权重；4) 使用带有重用权重的样本更新智能体策略。整体流程是循环迭代的，智能体不断与环境交互，评估新颖性，更新策略，最终学习到最优策略。

关键创新：MANGER的关键创新在于将新颖性度量与样本重用机制相结合。与传统的均匀样本重用方法不同，MANGER能够根据样本的价值动态调整重用频率，从而更有效地利用数据。此外，通过鼓励探索新颖状态，MANGER能够提高策略的多样性，避免陷入局部最优。

关键设计：RND网络由一个固定的随机网络和一个预测网络组成。预测网络的目标是预测固定随机网络的输出。预测误差越大，表示状态越新颖。新颖性得分被归一化到[0, 1]区间，并用于计算样本的重用权重。重用权重与新颖性得分成正比，即新颖性越高的样本，重用权重越大。策略更新使用标准的强化学习算法，如PPO或SAC，但样本的损失函数会乘以重用权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MANGER方法在Google Research Football和StarCraft II微操任务中显著优于基线方法。在Google Research Football中，MANGER的胜率提高了15%以上。在StarCraft II微操任务中，MANGER能够成功解决一些基线方法无法解决的超难任务。这些结果表明，MANGER能够有效地提高MARL的样本效率和策略多样性。

🎯 应用场景

MANGER方法具有广泛的应用前景，可应用于机器人协作、自动驾驶、游戏AI等领域。在机器人协作中，可以提高多机器人协同完成复杂任务的效率和鲁棒性。在自动驾驶中，可以帮助车辆更好地应对未知的交通场景，提高安全性。在游戏AI中，可以训练出更智能、更具挑战性的AI对手。

📄 摘要（原文）

Recently, deep Multi-Agent Reinforcement Learning (MARL) has demonstrated its potential to tackle complex cooperative tasks, pushing the boundaries of AI in collaborative environments. However, the efficiency of these systems is often compromised by inadequate sample utilization and a lack of diversity in learning strategies. To enhance MARL performance, we introduce a novel sample reuse approach that dynamically adjusts policy updates based on observation novelty. Specifically, we employ a Random Network Distillation (RND) network to gauge the novelty of each agent's current state, assigning additional sample update opportunities based on the uniqueness of the data. We name our method Multi-Agent Novelty-GuidEd sample Reuse (MANGER). This method increases sample efficiency and promotes exploration and diverse agent behaviors. Our evaluations confirm substantial improvements in MARL effectiveness in complex cooperative scenarios such as Google Research Football and super-hard StarCraft II micromanagement tasks.