Optimizing Team Behavior via Extremum-seeking Control in Multi-agent Reinforcement Learning

📄 arXiv: 2610.18808v1 📥 PDF

作者: Svar Rajankumar Patel, Kshitij Jerath

分类: cs.MA, cs.AI, cs.RO, eess.SY

发布日期: 2026-10-13

备注: Accepted for publication at the 65th IEEE Conference on Decision and Control (CDC 2026), Hawaii, USA

💡 一句话要点

提出自适应多样性控制以优化多智能体强化学习中的团队行为

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 行为多样性 自适应控制 极值寻求控制 系统优化 任务协调

📋 核心要点

  1. 现有的多智能体强化学习方法在调节行为多样性时面临高成本和任务依赖性的问题，难以实现有效的协调。
  2. 本文提出的自适应多样性控制（ADiCo）框架，通过两时间尺度的调节机制，在线调整智能体的行为多样性以适应任务需求。
  3. 实验结果表明，ADiCo在多个任务配置中能够匹配或超越最佳多样性目标的性能，展示了其在强化学习中的有效性。

📝 摘要（中文）

在合作的多智能体强化学习（MARL）中，智能体需要协调其行为以实现共同目标。有效协调的一个关键指标是行为多样性，即智能体在相同观察下实施不同但互补的控制策略的潜力。尽管行为多样性可以促进角色专业化和更丰富的联合行为，但其适当水平高度依赖于具体任务，且调节成本较高。本文提出了自适应多样性控制（ADiCo），这是一个在训练过程中在线调整行为多样性的两时间尺度框架。ADiCo在快速时间尺度上通过多样性控制（DiCo）调节系统多样性，而在较慢时间尺度上，极值寻求控制器（ESC）仅利用平均回报调整目标，无需显式模型或多样性-性能景观的解析梯度。我们在六个配置的两个合作MARL任务中评估ADiCo，结果显示其能够维持适合任务的多样性水平。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习中行为多样性调节的高成本和任务依赖性问题。现有方法往往需要手动选择多样性目标，缺乏系统性和灵活性。

核心思路：ADiCo框架通过快速和慢速两个时间尺度的调节机制，动态调整智能体的行为多样性，以适应不同任务的需求。快速时间尺度上使用多样性控制（DiCo）来维持多样性，而慢速时间尺度上通过极值寻求控制器（ESC）来优化多样性目标。

技术框架：ADiCo的整体架构包括两个主要模块：一是快速调节的DiCo，负责实时调整多样性；二是慢速调节的ESC，基于平均回报动态调整多样性目标。

关键创新：ADiCo的创新在于将经典反馈控制理论引入MARL训练中，提供了一种系统化的多样性目标调节方法，避免了手动选择的局限性。

关键设计：在ADiCo中，DiCo模块设定了多样性目标的范围，而ESC模块则通过计算平均回报来调整该目标，确保在不同任务中实现适宜的多样性水平。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ADiCo在六个不同配置的合作MARL任务中，能够维持适合任务的多样性水平，且其性能与最佳调节目标的DiCo相当或更优，展示了在调节多样性方面的显著提升。

🎯 应用场景

该研究的潜在应用领域包括机器人协作、智能交通系统和多无人机编队等场景，能够有效提升多智能体系统的协调能力和任务执行效率。未来，ADiCo框架有望在更复杂的动态环境中应用，为智能体的自主学习和适应能力提供支持。

📄 摘要（原文）

In cooperative Multi-Agent Reinforcement Learning (MARL), agents must learn to coordinate their actions to achieve shared objectives. A key indicator of effective coordination is behavioral diversity, i.e., the agents' potential to enact distinct yet complementary control policies given the same set of observations. Although behavioral diversity can enable role specialization and richer joint behaviors, its appropriate level is highly context- and task-dependent and often costly to tune. We propose Adaptive Diversity Control (ADiCo), a two-timescale framework that adapts behavioral diversity online during training. On a fast timescale, Diversity Control (DiCo) regulates system diversity toward a target value. On a slower timescale, an Extremum Seeking Controller (ESC) adjusts this target using only mean episodic returns, without requiring an explicit model or analytical gradient of the diversity-performance landscape. We evaluate ADiCo on six configurations across two cooperative MARL tasks, where it maintains task-appropriate diversity levels: low diversity when homogeneous policies are beneficial and higher diversity when heterogeneous policies are required. Through this adaptation, ADiCo matches or exceeds the mean performance of DiCo (best grid-searched diversity target) and Unconstrained DiCo (diversity allowed to emerge without target regulation). These results demonstrate that incorporating classical feedback control into MARL training enables effective coordination by providing a systematic alternative to task-specific manual selection of the diversity target.