PowerMarketJax: A JAX Benchmark Suite for Multi-Agent Reinforcement Learning in Power Markets

📄 arXiv: 2609.37321v1 📥 PDF

作者: Zhanhua Pan, Xin Qin, Xiao Liu, Zhilong Cao, Jianhong Wang, Dawei Qiu

分类: cs.MA, cs.AI, eess.SY

发布日期: 2026-09-29

备注: 69 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出PowerMarketJax以解决电力市场中的多智能体强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 电力市场 市场清算机制 策略优化 GPU加速 开源基准 竞标策略

📋 核心要点

  1. 现有的MARL环境往往局限于单一市场设置，简化了清算机制，导致大规模训练效率低下。
  2. PowerMarketJax提供了一个涵盖多种电力市场的基准套件，允许在统一框架下进行学习和评估。
  3. 实验结果表明，PowerMarketJax在GPU上实现了高达33倍的速度提升，显著提高了训练效率。

📝 摘要（中文）

电力市场是多智能体强化学习（MARL）的自然测试平台，参与者反复提交竞标，市场清算机制根据电网约束和市场结算规则确定调度和价格。然而，现有的MARL环境通常集中于单一市场设置，简化清算机制，或依赖CPU优化求解器，限制了大规模训练和竞标策略的系统研究。本文提出PowerMarketJax，一个涵盖五种电力市场的MARL基准套件，提供统一的学习和评估框架。研究发现，学习的竞标行为与市场设计密切相关，独立学习者可能会错过更好的策略。PowerMarketJax在JAX中实现市场模拟和策略训练，允许整个流程在GPU上运行，达到比CPU基线快33倍的速度提升。

🔬 方法详解

问题定义：本文旨在解决现有多智能体强化学习（MARL）环境在电力市场中的局限性，包括单一市场设置和简化的清算机制，这些都限制了对竞标策略和市场行为的系统研究。

核心思路：提出PowerMarketJax基准套件，涵盖五种电力市场，提供各自的清算、定价和结算规则，从而为学习和评估提供统一框架，增强了对市场行为的理解。

技术框架：PowerMarketJax的整体架构包括市场模拟和策略训练两个主要模块，利用JAX实现高效的计算，支持在GPU上并行处理1024 x 1200的环境和市场参与者。

关键创新：最重要的创新在于提供了一个多市场的MARL基准，能够系统地研究不同市场设计对竞标策略的影响，解决了独立学习者可能错过更优策略的问题。

关键设计：在技术细节上，PowerMarketJax采用了高效的并行计算策略，优化了损失函数和网络结构，以适应不同市场的清算和定价机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PowerMarketJax在GPU上实现了高达33倍的速度提升，相较于传统的CPU基线，显著提高了训练效率。这一成果为大规模电力市场的多智能体强化学习研究提供了强有力的工具支持。

🎯 应用场景

该研究的潜在应用领域包括电力市场的智能交易、优化调度和策略制定。通过提供一个高效的MARL基准，研究者和从业者可以更好地理解市场动态，优化竞标策略，从而提升电力市场的整体效率和稳定性。

📄 摘要（原文）

Power markets are a natural testbed for multi-agent reinforcement learning (MARL), where multiple self-interested participants repeatedly submit bids. A market-clearing mechanism then determines dispatch and prices subject to power grid constraints and market settlement rules. However, existing MARL environments typically focus on a single market setting, implement simplified clearing mechanisms, or rely on CPU-based optimization solvers that slow large-scale training and limit the systematic study of bidding strategies and market behavior. We introduce PowerMarketJax, a benchmark suite for MARL across five power markets: day-ahead wholesale, real-time balancing, ancillary services, peer-to-peer double auctions, and local flexibility. Each environment implements its own clearing, pricing, and settlement rules while providing a common framework for learning and evaluation. We find that learned bidding behavior depends strongly on the market design: independent learners can miss better strategies when gains require many agents to change together, when more profitable strategies lie beyond a region of lower profit, or when profits disappear as more agents adopt the same strategy. PowerMarketJax implements both market simulation and policy training in JAX, allowing the entire pipeline to run on the GPU with 1,024 X 1,200 parallelisms across both environments and market participants, achieving up to 33X speedup over CPU-based baselines. Our open-source benchmark is available at: https://github.com/powermarketjax/PowerMarketJax.