QSIM: Mitigating Overestimation in Multi-Agent Reinforcement Learning via Action Similarity Weighted Q-Learning

📄 arXiv: 2602.22786 📥 PDF

作者: Yuanjun Li, Bin Zhang, Hao Chen, Zhouyang Jiang, Dapeng Li, Zhiwei Xu

分类: cs.MA, cs.AI, cs.LG

发布日期: 2026-02-28

💡 一句话要点

QSIM：通过动作相似性加权Q学习缓解多智能体强化学习中的过度估计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 值分解 Q值过度估计 动作相似性 时序差分学习

📋 核心要点

  1. 值分解方法在多智能体强化学习中面临Q值过度估计问题，导致学习不稳定和策略次优。
  2. QSIM通过动作相似性加权Q学习，在近贪婪联合动作空间上重建TD目标，平滑Q值。
  3. 实验表明，QSIM能与多种值分解方法集成，提升性能和稳定性，并有效缓解值过度估计。

📝 摘要（中文）

值分解(VD)方法在合作多智能体强化学习(MARL)中取得了显著成功。然而，它们对最大算子在时序差分(TD)目标计算中的依赖导致了系统性的Q值过度估计。由于联合动作空间的组合爆炸，这个问题在MARL中尤为严重，这通常会导致不稳定的学习和次优策略。为了解决这个问题，我们提出了QSIM，一个相似性加权Q学习框架，它使用动作相似性重建TD目标。QSIM不是直接使用贪婪联合动作，而是在结构化的近贪婪联合动作空间上形成一个相似性加权期望。这种公式允许目标整合来自不同但行为相关的动作的Q值，同时对那些与贪婪选择更相似的动作赋予更大的影响。通过使用结构相关的替代方案平滑目标，QSIM有效地缓解了过度估计并提高了学习稳定性。大量实验表明，QSIM可以与各种VD方法无缝集成，与原始算法相比，始终产生卓越的性能和稳定性。此外，经验分析证实QSIM显著缓解了MARL中的系统性值过度估计。

🔬 方法详解

问题定义：多智能体强化学习中的值分解方法依赖于最大算子计算时序差分(TD)目标，这会导致Q值被系统性地高估。尤其是在联合动作空间巨大时，过度估计问题会更加严重，进而导致学习过程不稳定，最终获得的策略也可能是次优的。现有方法难以有效缓解这种过度估计问题。

核心思路：QSIM的核心思路是利用动作之间的相似性来修正TD目标。它不再简单地选择具有最大Q值的动作，而是考虑与当前最优动作相似的其他动作，并根据相似度对这些动作的Q值进行加权平均，以此来平滑TD目标，从而降低过度估计的影响。

技术框架：QSIM可以与现有的值分解方法相结合。其主要流程是：首先，基于当前Q值选择贪婪联合动作；然后，构建一个包含与贪婪动作相似的动作的近贪婪联合动作空间；接着，计算这些动作与贪婪动作的相似度，并使用相似度作为权重，对这些动作的Q值进行加权平均，得到修正后的TD目标；最后，使用修正后的TD目标更新Q值函数。

关键创新：QSIM的关键创新在于引入了动作相似性这一概念，并将其应用于TD目标的构建中。与传统方法直接使用最大Q值不同，QSIM通过考虑与最优动作相似的其他动作，并进行加权平均，从而有效地缓解了Q值过度估计的问题。

关键设计：动作相似度的计算方式是QSIM的关键设计之一。论文中可能采用了某种特定的相似度度量方法，例如基于动作嵌入的余弦相似度等。此外，如何构建近贪婪联合动作空间，以及如何平衡贪婪动作和相似动作之间的权重，也是需要仔细设计的关键参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QSIM可以与多种值分解方法无缝集成，并显著提升它们的性能和稳定性。与原始算法相比，QSIM在多个合作多智能体任务中都取得了更好的结果。经验分析还证实，QSIM能够有效地缓解MARL中的系统性值过度估计问题，从而验证了其有效性。

🎯 应用场景

QSIM可应用于各种需要多智能体协作的场景，例如机器人协同、交通流量优化、资源分配、以及博弈游戏等。通过缓解Q值过度估计，QSIM能够提升多智能体系统的学习效率和策略质量，使其在复杂环境中能够做出更可靠的决策，具有重要的实际应用价值和潜力。

📄 摘要（原文）

Value decomposition (VD) methods have achieved remarkable success in cooperative multi-agent reinforcement learning (MARL). However, their reliance on the max operator for temporal-difference (TD) target calculation leads to systematic Q-value overestimation. This issue is particularly severe in MARL due to the combinatorial explosion of the joint action space, which often results in unstable learning and suboptimal policies. To address this problem, we propose QSIM, a similarity weighted Q-learning framework that reconstructs the TD target using action similarity. Instead of using the greedy joint action directly, QSIM forms a similarity weighted expectation over a structured near-greedy joint action space. This formulation allows the target to integrate Q-values from diverse yet behaviorally related actions while assigning greater influence to those that are more similar to the greedy choice. By smoothing the target with structurally relevant alternatives, QSIM effectively mitigates overestimation and improves learning stability. Extensive experiments demonstrate that QSIM can be seamlessly integrated with various VD methods, consistently yielding superior performance and stability compared to the original algorithms. Furthermore, empirical analysis confirms that QSIM significantly mitigates the systematic value overestimation in MARL. Code is available atthis https URL.