Evolutionary Stability Does Not Guarantee Learning Accessibility: A Multi-Agent Reinforcement Learning Perspective on Cooperation Emergence

📄 arXiv: 2609.27664v1 📥 PDF

作者: Yijie Wang

分类: cs.AI

发布日期: 2026-09-23

💡 一句话要点

提出多智能体强化学习框架以解决合作出现问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体系统 合作出现 进化博弈 强化学习 局部反馈 学习可达性 治理机制

📋 核心要点

  1. 现有方法未能有效解决多智能体系统中合作出现的挑战，特别是在有限样本学习环境下的局部反馈问题。
  2. 论文提出了一种透明的三智能体治理游戏，通过推导复制者动态来分析合作进化盆地，并与学习盆地进行比较。
  3. 实验结果显示，进化盆地的体积为1.00，而独立Q学习的学习盆地为0.88，表明进化稳定性与学习可达性之间存在显著差异。

📝 摘要（中文）

合作出现是多智能体系统中的核心问题，因为去中心化的智能体必须在适应他人行为变化的同时进行协调。进化博弈理论识别出战略稳定的结果，但在种群调整动态下的稳定性并不意味着有限样本学习的智能体能够通过局部奖励反馈达到相同结果。本文研究了这一区别，分析了一个由政府、平台公司和用户组成的三智能体治理动机游戏，推导了固定阶段游戏激励下的复制者动态，并评估了对称初始条件网格上的合作进化盆地。通过与三种去中心化价值基础学习者的学习盆地估计进行比较，得出结论：进化稳定性与学习可达性是耦合游戏-学习系统的不同属性。

🔬 方法详解

问题定义：本文旨在解决多智能体系统中合作出现的挑战，尤其是有限样本学习智能体在局部奖励反馈下无法达到进化稳定结果的问题。

核心思路：通过构建一个三智能体治理动机游戏，分析进化博弈理论与学习动态之间的关系，揭示进化稳定性与学习可达性的区别。

技术框架：研究采用了复制者动态来描述固定阶段游戏的激励，并在对称初始条件网格上评估合作进化盆地，同时对三种去中心化学习算法进行比较。

关键创新：论文的主要创新在于提出了一个框架，用于比较种群级别的稳定性与在特定多智能体学习动态下合作的有限样本可达性，填补了现有研究的空白。

关键设计：采用独立Q学习与$ ext{ε}$-贪婪动作选择、缩放Boltzmann探索和SA--EA BQL等技术，确保在相同的收益环境和结果标准下进行比较。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，进化盆地的体积为1.00，而独立Q学习的学习盆地为0.88，缩放Boltzmann和SA--EA BQL的学习盆地均为0.00，显示出在固定配置下，尽管存在更广泛的动作多样性和非零价值分离，仍然无法维持合作的联合行动。

🎯 应用场景

该研究的潜在应用领域包括共享单车系统、在线平台治理等多智能体环境，能够为设计有效的合作机制提供理论支持，促进智能体之间的协调与合作。未来可能影响政策制定和平台设计的策略。

📄 摘要（原文）

Cooperation emergence is a central problem in multi-agent systems because decentralized agents must coordinate while adapting to the changing behavior of others. Evolutionary game theory identifies strategically stable outcomes, but stability under a population adjustment dynamic need not imply that finite-sample learning agents can reach the same outcome through local reward feedback. We study this distinction in a transparent three-agent governance-motivated game involving a government, a platform firm, and users. We derive replicator dynamics for the fixed stage-game incentives, evaluate the cooperative evolutionary basin on a symmetric initial-condition grid, and compare it with learning-basin estimates for three decentralized value-based learners. The learning analysis uses independent Q-learning with $\varepsilon$-greedy action selection, scaled Boltzmann exploration, and SA--EA BQL under the same payoff environment and outcome criterion. The evolutionary basin has volume $V_E=1.00$ on the sampled grid. The empirical learning basin is $0.88$ for $\varepsilon$-IQL and $0.00$ for both scaled Boltzmann and SA--EA BQL. Diagnostic traces show that broader action diversity and nonzero value separation can coexist with failure to sustain the cooperative joint action in this fixed configuration. These results indicate that evolutionary stability and learning accessibility are distinct properties of a coupled game--learning system. The shared-bike setting is a motivating application; the broader contribution is a framework for comparing population-level stability with the finite-sample accessibility of cooperation under specified multi-agent learning dynamics.