Arbitrage Tactics in the Local Markets via Hierarchical Multi-agent Reinforcement Learning
作者: Haoyang Zhang, Mina Montazeri, Philipp Heer, Koen Kok, Nikolaos G. Paterakis
分类: eess.SY
发布日期: 2025-07-22
💡 一句话要点
提出基于分层多智能体强化学习的套利策略，优化本地市场能源交易
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 分层强化学习 本地电力市场 套利策略 能源交易
📋 核心要点
- 现有研究缺乏对本地市场间套利机会的探索，仅关注单一市场中的多智能体强化学习策略。
- 论文提出一种分层多智能体强化学习（HMARL）算法，通过子智能体的协同，实现跨本地市场的套利。
- 实验结果表明，该策略虽然在LEM中成本较高，但在LFM和平衡市场中节省显著，总利润平均提升40.6%。
📝 摘要（中文）
本文提出了一种分层多智能体强化学习（HMARL）算法，旨在实现聚合商在多个本地市场之间的套利。聚合商在本地市场中的策略行为被建模为一个两阶段马尔可夫博弈：第一阶段涉及本地电力市场（LEM），第二阶段包括本地灵活性市场（LFM）和平衡市场。为了解决这个两阶段马尔可夫博弈，HMARL框架为每个聚合商分配了两个子智能体，一个主要子智能体和一个次要子智能体。在没有套利策略的情况下，这些子智能体独立运行，分别关注第一阶段和第二阶段的利润，并采用独立的MARL。相反，当使用提出的HMARL实施套利策略时，子智能体进行通信和协调，以在多个本地市场之间执行套利，从而提高整体效率。案例研究表明，在所有聚合商都采用套利策略的情况下，尽管LEM的初始成本较高，但该策略在LFM和平衡市场中产生了可观的节省，从而使总利润平均增加了40.6％。这突显了所提出的HMARL解决两阶段马尔可夫博弈并促进本地市场之间套利的能力，从而提高了参与者的盈利能力。
🔬 方法详解
问题定义：论文旨在解决本地电力市场（LEM）和本地灵活性市场（LFM）中，聚合商如何通过跨市场套利来最大化利润的问题。现有方法主要关注单一市场的优化，忽略了不同市场之间的关联性和套利机会，导致整体收益受限。
核心思路：核心思路是将跨市场套利问题建模为一个两阶段马尔可夫博弈，并利用分层多智能体强化学习（HMARL）框架来解决。通过将每个聚合商分解为两个子智能体，分别负责不同阶段的市场，并通过通信和协调来实现跨市场的套利。
技术框架：整体框架包含两个阶段：第一阶段是本地电力市场（LEM），第二阶段是本地灵活性市场（LFM）和平衡市场。每个聚合商拥有两个子智能体：主要子智能体负责LEM的决策，次要子智能体负责LFM和平衡市场的决策。HMARL框架允许这两个子智能体进行通信和协调，从而实现跨市场的套利。整个过程可以看作是一个两阶段的马尔可夫博弈，HMARL算法用于学习每个智能体的最优策略。
关键创新：关键创新在于提出了HMARL框架，将跨市场套利问题分解为两个子问题，并利用子智能体之间的通信和协调来实现整体优化。与传统的独立多智能体强化学习方法相比，HMARL能够更好地捕捉不同市场之间的依赖关系，从而实现更有效的套利。
关键设计：论文中，每个子智能体都使用独立的MARL算法进行训练。关键在于设计了子智能体之间的通信机制，允许它们共享信息并协调行动。具体的网络结构和损失函数等技术细节在论文中可能有所描述，但摘要中未明确提及，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在所有聚合商都采用套利策略的情况下，尽管LEM的初始成本较高，但该策略在LFM和平衡市场中产生了可观的节省，从而使总利润平均增加了40.6％。这表明所提出的HMARL算法能够有效地解决跨市场套利问题，并显著提高市场参与者的盈利能力。
🎯 应用场景
该研究成果可应用于智能电网、能源互联网等领域，帮助电力聚合商优化能源交易策略，降低成本，提高收益。通过跨市场套利，可以促进能源资源的有效配置，提高电力系统的整体效率和稳定性。未来，该方法还可扩展到其他类型的本地市场，如碳交易市场、水资源市场等。
📄 摘要（原文）
Strategic bidding tactics employed by prosumers in local markets, including the Local Electricity Market (LEM) and Local Flexibility Market (LFM), have attracted significant attention due to their potential to enhance economic benefits for market participants through optimized energy management and bidding. While existing research has explored strategic bidding in a single market with multi-agent reinforcement learning (MARL) algorithms, arbitrage opportunities across local markets remain unexplored. This paper introduces a hierarchical MARL (HMARL) algorithm designed to enable aggregator arbitrage across multiple local markets. The strategic behavior of these aggregators in local markets is modeled as a two-stage Markov game: the first stage involves the LEM, while the second stage encompasses both the LFM and the balancing market. To solve this two-stage Markov game, the HMARL framework assigns two sub-agents to each aggregator, a primary sub-agent and a secondary sub-agent. Without the arbitrage strategy, these sub-agents operate in silos, with the primary sub-agent focusing on first-stage profits and the secondary sub-agent on second-stage profits, each employing independent MARLs. On the contrary, when implementing the arbitrage strategy with the proposed HMARL, the sub-agents communicate and coordinate to perform arbitrage across multiple local markets, enhancing overall efficiency. The case study, conducted under a scenario where all aggregators employ the arbitrage strategy, shows that despite higher initial costs in the LEM, this strategy generates substantial savings in the LFM and the balancing market, resulting in a total profit increase of $40.6\%$ on average. This highlights the capability of the proposed HMARL to address the two-stage Markov game and facilitate arbitrage across local markets, thereby enhancing profitability for participants.