A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets
作者: Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani
分类: eess.SY
发布日期: 2026-02-23
💡 一句话要点
提出基于强化学习的输电扩展框架，协同优化输电投资与发电公司竞标策略
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 输电扩展规划 电力市场 策略性竞标 协同优化
📋 核心要点
- 电力市场中的输电扩展规划与发电公司的策略性竞标行为紧密相关，现有方法难以有效捕捉二者之间的相互影响。
- 论文提出基于强化学习的协同优化框架，通过统一的训练过程同时学习输电投资决策和发电公司竞标策略。
- 在IEEE 30节点系统上的案例研究验证了该协同优化框架的概念，表明其能够有效捕捉扩展和竞标决策的相互影响。
📝 摘要（中文）
本文提出了一种基于强化学习（RL）的协同优化框架，用于在电力市场中同时学习输电投资决策和发电公司的竞标策略。该框架基于多智能体RL的市场模拟，创新性地引入了一个设计策略层，该层联合优化连续/离散的输电扩展决策以及竞标策略。通过市场结算和投资设计之间的迭代交互，该框架有效地捕捉了它们之间的相互影响，并实现了扩展和竞标决策的一致协同优化。在IEEE 30节点系统上的案例研究验证了所提出的协同优化框架的概念。
🔬 方法详解
问题定义：电力市场中的输电扩展规划问题复杂，发电公司的策略性竞标行为会显著影响输电投资的效益。现有方法通常将输电扩展规划和发电竞标策略分开考虑，忽略了二者之间的相互影响，导致次优的规划结果。因此，需要一种能够同时优化输电投资和竞标策略的协同优化框架。
核心思路：论文的核心思路是利用强化学习的多智能体特性，将输电投资决策和发电公司的竞标策略建模为多个智能体的决策问题，通过统一的训练过程，使这些智能体能够学习到最优的协同策略。通过市场结算和投资设计之间的迭代交互，捕捉它们之间的相互影响。
技术框架：该框架包含以下主要模块：1) 基于多智能体RL的市场模拟器，用于模拟电力市场的运行，包括发电公司的竞标、市场结算等过程；2) 设计策略层，用于联合优化连续/离散的输电扩展决策以及竞标策略；3) 强化学习算法，用于训练智能体，使其能够学习到最优的输电投资和竞标策略。整个流程通过迭代交互，不断优化输电扩展和竞标决策。
关键创新：该论文最重要的技术创新点在于提出了一个基于强化学习的协同优化框架，能够同时学习输电投资决策和发电公司的竞标策略。与现有方法相比，该框架能够更有效地捕捉输电扩展和竞标策略之间的相互影响，从而获得更优的规划结果。引入设计策略层，联合优化连续/离散的输电扩展决策以及竞标策略。
关键设计：论文中设计策略层的具体实现细节未知，包括具体的网络结构、损失函数、强化学习算法等。但是，可以推测，该设计策略层需要能够处理连续和离散的决策变量，并能够有效地学习到输电投资和竞标策略之间的复杂关系。具体的参数设置和超参数选择对最终的性能至关重要，但论文摘要中未提及。
🖼️ 关键图片
📊 实验亮点
论文在IEEE 30节点系统上进行了案例研究，验证了所提出的协同优化框架的概念。虽然摘要中没有提供具体的性能数据和对比基线，但结果表明该框架能够有效地捕捉输电扩展和竞标决策之间的相互影响，并实现一致的协同优化。具体的提升幅度未知，需要在正文中进一步考察。
🎯 应用场景
该研究成果可应用于电力市场的输电扩展规划，帮助决策者制定更合理的输电投资方案，提高电力系统的经济性和可靠性。通过考虑发电公司的策略性竞标行为，可以更准确地评估输电投资的效益，避免过度投资或投资不足。该方法还可扩展到其他能源领域的投资决策，例如天然气管道建设等。
📄 摘要（原文）
Transmission expansion planning in electricity markets is tightly coupled with the strategic bidding behaviors of generation companies. This paper proposes a Reinforcement Learning (RL)-based co-optimization framework that simultaneously learns transmission investment decisions and generator bidding strategies within a unified training process. Based on a multiagent RL framework for market simulation, the proposed method newly introduces a design policy layer that jointly optimizes continuous/discrete transmission expansion decisions together with strategic bidding policies. Through iterative interaction between market clearing and investment design, the framework effectively captures their mutual influence and achieves consistent co-optimization of expansion and bidding decisions. Case studies on the IEEE 30-bus system are provided for proof-of-concept validation of the proposed co-optimization framework.