Offline-to-Online Multi-Agent Reinforcement Learning with Offline Value Function Memory and Sequential Exploration

📄 arXiv: 2410.19450v1 📥 PDF

作者: Hai Zhong, Xun Wang, Zhuoran Li, Longbo Huang

分类: cs.AI

发布日期: 2024-10-25

💡 一句话要点

提出OVMSE框架，解决离线到在线多智能体强化学习中的知识遗忘和探索难题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 多智能体强化学习 价值函数记忆 顺序探索 样本效率 星际争霸 O2O MARL

📋 核心要点

  1. 现有O2O MARL方法在从离线到在线阶段过渡时，易发生Q值遗忘，影响性能。
  2. OVMSE框架通过离线价值函数记忆（OVM）机制，保留离线知识，平滑过渡。
  3. OVMSE采用去中心化顺序探索（SE）策略，有效利用离线策略，降低探索空间。

📝 摘要（中文）

离线到在线强化学习（O2O RL）已成为一种强大的范式，它利用离线数据进行初始化，并进行在线微调，从而提高样本效率和性能。然而，现有研究主要集中在单智能体设置中，对多智能体扩展（即O2O MARL）的探索有限。在O2O MARL中，随着智能体数量的增加，两个关键挑战变得更加突出：（i）从离线到在线阶段过渡期间，由于分布偏移导致预训练Q值被遗忘的风险；（ii）在大型联合状态-动作空间中进行有效探索的难度。为了应对这些挑战，我们提出了一种新的O2O MARL框架，称为具有顺序探索的离线价值函数记忆（OVMSE）。首先，我们引入了离线价值函数记忆（OVM）机制来计算目标Q值，保留了离线训练期间获得的知识，确保了更平滑的过渡，并实现了有效的微调。其次，我们提出了一种为O2O MARL量身定制的去中心化顺序探索（SE）策略，该策略有效地利用了预训练的离线策略进行探索，从而显著减少了需要探索的联合状态-动作空间。在星际争霸多智能体挑战（SMAC）上的大量实验表明，OVMSE明显优于现有基线，实现了卓越的样本效率和整体性能。

🔬 方法详解

问题定义：论文旨在解决离线到在线多智能体强化学习（O2O MARL）中，由于智能体数量增加而导致的两个关键问题：一是离线预训练的Q值在在线微调阶段容易被遗忘，导致性能下降；二是联合状态-动作空间巨大，难以进行有效的探索。现有方法无法很好地平衡离线知识的利用和在线探索的效率。

核心思路：论文的核心思路是利用离线数据学习到的价值函数作为记忆，在在线阶段通过OVM机制保留和利用这些知识，避免Q值被遗忘。同时，设计一种去中心化的顺序探索策略，利用离线策略引导探索，从而降低探索空间，提高探索效率。

技术框架：OVMSE框架主要包含两个核心模块：离线价值函数记忆（OVM）和顺序探索（SE）。首先，利用离线数据训练一个联合Q函数。然后，在在线阶段，OVM机制用于计算目标Q值，该目标Q值结合了在线学习到的Q值和从离线数据中提取的Q值，从而保留了离线知识。同时，每个智能体采用SE策略进行探索，该策略基于离线策略选择动作，并逐步探索新的动作空间。

关键创新：OVMSE的关键创新在于OVM机制和SE策略的结合。OVM机制通过记忆离线价值函数，有效防止了Q值遗忘，保证了学习的稳定性。SE策略则通过利用离线策略引导探索，显著降低了探索空间，提高了探索效率。与现有方法相比，OVMSE能够更好地利用离线数据，并在在线阶段实现更高效的探索。

关键设计：OVM机制的关键在于如何融合离线和在线的Q值。论文采用加权平均的方式，通过一个可学习的参数来控制离线Q值和在线Q值的权重。SE策略的关键在于如何平衡利用离线策略和探索新动作。论文采用ε-greedy策略，以一定的概率选择离线策略推荐的动作，以另一概率随机选择动作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SMAC环境下的实验结果表明，OVMSE显著优于现有基线方法，在样本效率和整体性能上均有提升。具体而言，OVMSE在多个SMAC地图上取得了最高的平均胜率，并且在达到相同性能水平时，所需的训练样本数量明显减少。例如，在某些地图上，OVMSE的胜率比表现最佳的基线方法高出10%以上。

🎯 应用场景

该研究成果可应用于需要从离线数据中学习，并在实际环境中进行在线微调的多智能体系统，例如自动驾驶车队、机器人协同作业、智能交通管理等。通过利用离线数据进行预训练，可以显著提高智能体在复杂环境中的适应性和决策能力，降低训练成本。

📄 摘要（原文）

Offline-to-Online Reinforcement Learning has emerged as a powerful paradigm, leveraging offline data for initialization and online fine-tuning to enhance both sample efficiency and performance. However, most existing research has focused on single-agent settings, with limited exploration of the multi-agent extension, i.e., Offline-to-Online Multi-Agent Reinforcement Learning (O2O MARL). In O2O MARL, two critical challenges become more prominent as the number of agents increases: (i) the risk of unlearning pre-trained Q-values due to distributional shifts during the transition from offline-to-online phases, and (ii) the difficulty of efficient exploration in the large joint state-action space. To tackle these challenges, we propose a novel O2O MARL framework called Offline Value Function Memory with Sequential Exploration (OVMSE). First, we introduce the Offline Value Function Memory (OVM) mechanism to compute target Q-values, preserving knowledge gained during offline training, ensuring smoother transitions, and enabling efficient fine-tuning. Second, we propose a decentralized Sequential Exploration (SE) strategy tailored for O2O MARL, which effectively utilizes the pre-trained offline policy for exploration, thereby significantly reducing the joint state-action space to be explored. Extensive experiments on the StarCraft Multi-Agent Challenge (SMAC) demonstrate that OVMSE significantly outperforms existing baselines, achieving superior sample efficiency and overall performance.