Multi-Agent Inverse Q-Learning from Demonstrations

📄 arXiv: 2503.04679v1 📥 PDF

作者: Nathaniel Haynam, Adam Khoja, Dhruv Kumar, Vivek Myers, Erdem Bıyık

分类: cs.MA, cs.AI, cs.LG, cs.RO

发布日期: 2025-03-06

备注: 8 pages, 4 figures, 2 tables. Published at the International Conference on Robotics and Automation (ICRA) 2025

💡 一句话要点

提出MAMQL，通过边缘化Q学习从演示中进行多智能体逆强化学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体逆强化学习 边缘化Q学习 模仿学习 奖励函数学习 Boltzmann策略

📋 核心要点

  1. 多智能体环境中，奖励函数设计不当导致目标不一致问题更加严重，现有方法难以平衡合作与竞争。
  2. MAMQL通过学习边缘化其他智能体策略的评论家，并利用Boltzmann策略，有效应对环境非平稳性。
  3. 实验表明，MAMQL在奖励、效率和恢复方面显著优于现有方法，性能提升达2-5倍。

📝 摘要（中文）

深度强化学习算法在人工设计的奖励函数下，常常遭受奖励函数错误指定的问题，导致学习到的策略在预期任务目标方面次优。在单智能体情况下，逆强化学习(IRL)技术试图通过从专家演示中推断奖励函数来解决这个问题。然而，在多智能体问题中，由于环境非平稳性和方差随智能体数量增加而增大，学习到的目标与真实目标之间的不一致性加剧。因此，在多智能体通用和博弈中，多智能体IRL算法难以平衡合作和竞争目标。为了解决这些问题，我们提出了一种新的多智能体IRL高效框架——基于演示的多智能体边缘化Q学习(MAMQL)。对于每个智能体，MAMQL学习一个边缘化其他智能体策略的评论家，从而在多智能体环境中合理使用Boltzmann策略。我们发现了最优边缘化评论家与单智能体软Q IRL之间的联系，从而可以直接应用单智能体领域的简单优化准则。在三个不同的模拟领域进行的实验表明，MAMQL在平均奖励、样本效率和奖励恢复方面显著优于以往的多智能体方法，通常超过2-5倍。

🔬 方法详解

问题定义：论文旨在解决多智能体逆强化学习中，由于环境非平稳性和智能体数量增加导致的奖励函数错误指定问题。现有方法难以有效平衡合作和竞争目标，导致学习到的策略次优。

核心思路：论文的核心思路是为每个智能体学习一个边缘化其他智能体策略的评论家。通过边缘化，可以降低环境的非平稳性，并允许在多智能体环境中使用Boltzmann策略，从而更好地平衡探索和利用。

技术框架：MAMQL框架包含以下主要步骤：1) 从专家演示数据中学习每个智能体的边缘化Q函数。2) 利用学习到的边缘化Q函数，推断每个智能体的奖励函数。3) 使用推断的奖励函数训练智能体的策略。该框架的关键在于边缘化Q函数的学习，它允许将多智能体问题分解为多个单智能体问题。

关键创新：MAMQL的关键创新在于将多智能体IRL问题转化为单智能体软Q IRL问题。通过建立最优边缘化评论家与单智能体软Q IRL之间的联系，可以直接应用单智能体领域的优化准则，简化了多智能体IRL问题的求解。

关键设计：MAMQL使用Boltzmann策略进行探索，其概率与Q值的指数成正比。损失函数基于软Q学习的目标，旨在最大化策略的期望回报，同时鼓励策略的熵。网络结构方面，可以使用任何标准的深度神经网络来表示Q函数和策略。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，MAMQL在三个不同的模拟环境中，平均奖励、样本效率和奖励恢复方面均显著优于现有的多智能体IRL方法，性能提升通常达到2-5倍以上。这表明MAMQL能够更有效地从演示数据中学习奖励函数，并训练出更优的策略。

🎯 应用场景

MAMQL可应用于机器人协作、自动驾驶、博弈游戏等需要多智能体协作或竞争的领域。通过从专家演示中学习奖励函数，可以避免手动设计奖励函数的困难，并提高智能体的学习效率和性能。该方法在实际应用中具有重要的价值和潜力。

📄 摘要（原文）

When reward functions are hand-designed, deep reinforcement learning algorithms often suffer from reward misspecification, causing them to learn suboptimal policies in terms of the intended task objectives. In the single-agent case, inverse reinforcement learning (IRL) techniques attempt to address this issue by inferring the reward function from expert demonstrations. However, in multi-agent problems, misalignment between the learned and true objectives is exacerbated due to increased environment non-stationarity and variance that scales with multiple agents. As such, in multi-agent general-sum games, multi-agent IRL algorithms have difficulty balancing cooperative and competitive objectives. To address these issues, we propose Multi-Agent Marginal Q-Learning from Demonstrations (MAMQL), a novel sample-efficient framework for multi-agent IRL. For each agent, MAMQL learns a critic marginalized over the other agents' policies, allowing for a well-motivated use of Boltzmann policies in the multi-agent context. We identify a connection between optimal marginalized critics and single-agent soft-Q IRL, allowing us to apply a direct, simple optimization criterion from the single-agent domain. Across our experiments on three different simulated domains, MAMQL significantly outperforms previous multi-agent methods in average reward, sample efficiency, and reward recovery by often more than 2-5x. We make our code available at https://sites.google.com/view/mamql .