Risk Sensitivity in Markov Games and Multi-Agent Reinforcement Learning: A Systematic Review

📄 arXiv: 2406.06041v1 📥 PDF

作者: Hafez Ghaemi, Shirin Jamshidi, Mohammad Mashreghi, Majid Nili Ahmadabadi, Hamed Kebriaei

分类: cs.GT, cs.LG, cs.MA, eess.SY

发布日期: 2024-06-10

备注: 14 pages, 2 figures, 1 table

💡 一句话要点

综述马尔可夫博弈和多智能体强化学习中的风险敏感性研究

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 马尔可夫博弈 多智能体强化学习 风险敏感性 风险度量 条件风险价值 综述 决策建模 博弈论

📋 核心要点

  1. 传统MARL方法忽略了智能体的主观风险偏好，导致在实际应用中建模不准确。
  2. 该综述旨在系统性地分析MARL中风险敏感性的研究，涵盖不同风险度量方法。
  3. 文章总结了理论与应用的研究趋势，并为未来风险敏感MARL研究指明方向。

📝 摘要（中文）

马尔可夫博弈(MG)和多智能体强化学习(MARL)被广泛应用于多智能体系统中的决策建模。传统上，MG和MARL的目标是风险中性的，即假设智能体优化诸如期望回报之类的性能指标，而不考虑自身或其他智能体的主观或认知偏好。然而，忽略这些偏好会导致对金融、运筹学和行为经济学等许多现实场景中决策的不准确建模。因此，当这些偏好存在时，有必要将适当的风险度量纳入智能体的优化目标中，从而开启了风险敏感型MG和MARL的研究。本文系统地回顾了近年来随着强化学习和博弈论其他领域的发展而兴起的MG和MARL中风险敏感性的文献。我们定义并以数学方式描述了MG和MARL中使用的不同风险度量，并针对每种度量，讨论了包含该度量的文章。最后，我们确定了该领域理论和应用工作的最新趋势，并讨论了未来研究的可能方向。

🔬 方法详解

问题定义：现有MARL方法通常假设智能体是风险中性的，即只关注期望回报的最大化。然而，在许多实际场景中，智能体对风险的偏好会显著影响其决策。例如，在金融交易中，交易者会考虑潜在损失的概率和幅度，而不仅仅是期望收益。因此，如何将风险敏感性纳入MARL框架，以更准确地模拟智能体的决策行为，是一个重要的研究问题。现有方法忽略了智能体的风险偏好，导致模型在实际应用中表现不佳。

核心思路：该综述的核心思路是系统性地梳理和分析MARL中用于建模风险敏感性的各种方法。通过对不同风险度量方法进行分类和比较，揭示其优缺点和适用场景。这有助于研究人员更好地理解风险敏感MARL的研究现状和发展趋势，并为未来的研究提供指导。

技术框架：该综述的技术框架主要包括以下几个步骤：1) 定义风险敏感性在MARL中的概念；2) 介绍和分类不同的风险度量方法，例如条件风险价值(CVaR)、方差、熵等；3) 针对每种风险度量方法，回顾和分析相关的研究工作，包括其理论基础、算法设计和应用场景；4) 总结当前研究的趋势和挑战，并提出未来研究的可能方向。

关键创新：该综述的关键创新在于其系统性和全面性。它不仅涵盖了各种常见的风险度量方法，还深入分析了每种方法在MARL中的应用。此外，该综述还对当前研究的趋势和挑战进行了总结，并为未来的研究提出了有价值的建议。这使得该综述成为风险敏感MARL领域的重要参考资料。

关键设计：该综述的关键设计在于其对风险度量方法的分类和分析。它将各种风险度量方法分为不同的类别，例如基于分布的风险度量、基于效用的风险度量等，并针对每种类别，详细介绍了其定义、性质和应用。此外，该综述还对不同风险度量方法之间的关系进行了讨论，并分析了它们在不同场景下的适用性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该综述总结了近年来风险敏感型马尔可夫博弈和多智能体强化学习的研究进展，涵盖了多种风险度量方法，并分析了其在不同场景下的应用。此外，该综述还指出了当前研究的挑战和未来研究方向，为该领域的研究人员提供了有价值的参考。

🎯 应用场景

该研究成果可应用于金融交易、供应链管理、自动驾驶等领域。在金融交易中，可以构建风险敏感的交易策略，以更好地控制投资风险。在供应链管理中，可以优化库存和物流，以应对需求波动和供应中断等风险。在自动驾驶中，可以设计更安全的驾驶策略，以应对突发事件和不确定性。

📄 摘要（原文）

Markov games (MGs) and multi-agent reinforcement learning (MARL) are studied to model decision making in multi-agent systems. Traditionally, the objective in MG and MARL has been risk-neutral, i.e., agents are assumed to optimize a performance metric such as expected return, without taking into account subjective or cognitive preferences of themselves or of other agents. However, ignoring such preferences leads to inaccurate models of decision making in many real-world scenarios in finance, operations research, and behavioral economics. Therefore, when these preferences are present, it is necessary to incorporate a suitable measure of risk into the optimization objective of agents, which opens the door to risk-sensitive MG and MARL. In this paper, we systemically review the literature on risk sensitivity in MG and MARL that has been growing in recent years alongside other areas of reinforcement learning and game theory. We define and mathematically describe different risk measures used in MG and MARL and individually for each measure, discuss articles that incorporate it. Finally, we identify recent trends in theoretical and applied works in the field and discuss possible directions of future research.