B3C: A Minimalist Approach to Offline Multi-Agent Reinforcement Learning

📄 arXiv: 2501.18138v2 📥 PDF

作者: Woojun Kim, Katia Sycara

分类: cs.LG

发布日期: 2025-01-30 (更新: 2025-02-02)

💡 一句话要点

B3C：一种极简的离线多智能体强化学习方法，通过Critic裁剪提升性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 多智能体 行为克隆 价值分解 评论家裁剪

📋 核心要点

  1. 离线多智能体强化学习面临因多智能体动作空间导致的过估计问题，现有行为克隆正则化方法易出现过拟合或评论家发散。
  2. B3C方法通过裁剪评论家值并调整RL目标权重，有效缓解过估计问题，同时利用非线性价值分解提升性能。
  3. 实验结果表明，B3C在多个离线多智能体基准测试中超越了现有最优算法，验证了其有效性。

📝 摘要（中文）

离线强化学习（RL）中的一个主要挑战是策略评估期间选择未见过的动作而导致的过估计。在单智能体环境中，一种极简的方法——将行为克隆（BC）正则化添加到现有的在线RL算法中——已被证明是有效的；然而，这种方法在多智能体环境中研究不足。特别是在多智能体环境中，由于存在多个动作，过估计变得更加严重，导致基于BC正则化的方法容易受到过度正则化或评论家（critic）发散的影响。为了解决这个问题，我们提出了一种简单而有效的方法，即带有评论家裁剪的行为克隆正则化（B3C），它基于数据集中的最大回报来裁剪策略评估中的目标评论家值，并推动RL目标相对于BC正则化的权重限制，从而提高性能。此外，我们利用现有的价值分解技术，特别是离线环境中研究不足的非线性分解。与非线性价值分解相结合，B3C在各种离线多智能体基准测试中优于最先进的算法。

🔬 方法详解

问题定义：离线多智能体强化学习旨在利用预先收集的离线数据集训练策略，而无需与环境进行交互。一个关键挑战是策略评估中的过估计问题，尤其是在多智能体环境中，由于联合动作空间巨大，策略容易选择数据集中未见过的动作，导致价值函数被高估。现有的行为克隆（BC）正则化方法试图通过约束策略接近数据集中的行为来缓解这个问题，但容易出现过度正则化（限制了策略的探索能力）或评论家发散（价值函数不稳定）的问题。

核心思路：B3C的核心思路是通过裁剪目标评论家值来限制价值函数的过估计，并动态调整行为克隆正则化的强度。具体来说，B3C使用数据集中观察到的最大回报作为裁剪上限，防止价值函数过度乐观。同时，B3C允许增加RL目标相对于BC正则化的权重，从而在探索和模仿之间取得更好的平衡。

技术框架：B3C方法可以集成到现有的离线多智能体强化学习算法中。其主要流程如下：1）使用离线数据集训练智能体的策略和价值函数；2）在策略评估阶段，计算目标评论家值时，将其裁剪到数据集中的最大回报；3）使用裁剪后的目标评论家值更新价值函数；4）使用行为克隆正则化约束策略，并动态调整RL目标和BC正则化的权重。

关键创新：B3C的关键创新在于其简单而有效的裁剪机制和动态权重调整策略。与复杂的正则化方法相比，裁剪机制易于实现且计算成本低。动态权重调整允许B3C在探索和模仿之间取得更好的平衡，从而避免过度正则化或评论家发散。此外，论文还探索了非线性价值分解技术在离线多智能体强化学习中的应用，并将其与B3C相结合，进一步提升了性能。

关键设计：B3C的关键设计包括：1）裁剪阈值的选择：使用数据集中观察到的最大回报作为裁剪阈值；2）权重调整策略：允许增加RL目标相对于BC正则化的权重，但需要仔细调整以避免评论家发散；3）非线性价值分解：使用神经网络来学习智能体之间的复杂交互关系，从而更准确地估计联合价值函数。具体的损失函数包括TD误差损失和行为克隆损失，通过调整权重进行平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，B3C在多个离线多智能体基准测试中显著优于现有最优算法。例如，在StarCraft II微操任务中，B3C的性能超过了现有算法的平均水平，并且在某些任务中取得了state-of-the-art的结果。通过消融实验，验证了裁剪机制和动态权重调整策略的有效性。此外，与非线性价值分解相结合，B3C取得了进一步的性能提升。

🎯 应用场景

B3C方法具有广泛的应用前景，例如在自动驾驶、机器人协作、资源分配等领域。在这些领域中，通常难以进行在线探索，因此离线强化学习成为一种有吸引力的选择。B3C方法可以有效地利用离线数据训练出高性能的策略，从而提高系统的效率和安全性。未来的研究可以探索B3C方法在更复杂的环境和任务中的应用，并进一步优化其性能。

📄 摘要（原文）

Overestimation arising from selecting unseen actions during policy evaluation is a major challenge in offline reinforcement learning (RL). A minimalist approach in the single-agent setting -- adding behavior cloning (BC) regularization to existing online RL algorithms -- has been shown to be effective; however, this approach is understudied in multi-agent settings. In particular, overestimation becomes worse in multi-agent settings due to the presence of multiple actions, resulting in the BC regularization-based approach easily suffering from either over-regularization or critic divergence. To address this, we propose a simple yet effective method, Behavior Cloning regularization with Critic Clipping (B3C), which clips the target critic value in policy evaluation based on the maximum return in the dataset and pushes the limit of the weight on the RL objective over BC regularization, thereby improving performance. Additionally, we leverage existing value factorization techniques, particularly non-linear factorization, which is understudied in offline settings. Integrated with non-linear value factorization, B3C outperforms state-of-the-art algorithms on various offline multi-agent benchmarks.