Learning Stability of Replay-Based Co-Optimization for Transmission Expansion under Strategic Bidding
作者: Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani
分类: eess.SY
发布日期: 2026-10-07
💡 一句话要点
提出基于重放的容量更新方法以解决电力市场中的策略竞标问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 电力市场 传输扩展 深度强化学习 策略竞标 重放机制 优化稳定性 最近邻过滤
📋 核心要点
- 现有方法在电力市场中面临策略竞标下的学习动态不稳定性，导致优化过程难以收敛。
- 论文提出基于重放的容量更新方法，并结合最近邻过滤技术，旨在排除不一致的样本以提高优化稳定性。
- 实验结果显示，增大的重放记忆能够增强鲁棒性，但需适当调整学习率以避免引入振荡现象。
📝 摘要（中文）
本文研究了在电力市场中，基于学习的共同优化在策略竞标下的传输扩展行为。在此框架中，传输容量在市场参与者通过深度强化学习同时学习其竞标策略的过程中进行更新，导致耦合和非平稳的学习动态。我们表明，竞标代理的瞬态策略退化可能生成不一致的成本-容量样本，从而偏向传输容量更新，阻碍共同优化过程收敛到期望解决方案。为此，本文引入了基于重放的容量更新方法，并采用最近邻过滤以排除不一致样本。我们分析了当重放记忆增大时出现的新振荡行为。IEEE 30节点系统的数值结果表明，增大的重放记忆提高了对瞬态策略退化的鲁棒性，但可能引入时间滞后，导致振荡，除非适当降低容量更新学习率。这些结果揭示了重放记忆大小与学习率之间的权衡，并为稳定的共同优化提供了实用指导。
🔬 方法详解
问题定义：本文旨在解决电力市场中策略竞标下的传输扩展优化问题。现有方法由于学习动态的非平稳性，导致优化过程中的不一致样本影响传输容量更新，进而阻碍收敛。
核心思路：论文提出通过重放机制更新传输容量，并利用最近邻过滤来排除不一致样本，从而提高学习过程的稳定性和收敛性。
技术框架：整体架构包括市场参与者的竞标策略学习模块和传输容量更新模块。学习模块采用深度强化学习，容量更新模块则基于重放记忆进行优化。
关键创新：最重要的创新在于引入重放机制和最近邻过滤技术，显著改善了学习过程中的样本一致性，解决了传统方法中存在的策略退化问题。
关键设计：在参数设置上，重放记忆的大小和容量更新的学习率是关键设计因素。实验表明，适当调整学习率可以有效避免因重放记忆增大而引起的振荡现象。
🖼️ 关键图片
📊 实验亮点
实验结果表明，增大的重放记忆显著提高了对瞬态策略退化的鲁棒性，优化过程的收敛性得到了改善。在IEEE 30节点系统中，适当调整学习率后，振荡现象得以有效控制，展示了重放机制的有效性。
🎯 应用场景
该研究的潜在应用领域包括电力市场的优化调度、智能电网管理及相关政策制定。通过提高传输扩展的优化稳定性，能够有效降低电力市场的运营风险，提升市场效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
This paper investigates the behavior of learning-based co-optimization for transmission expansion under strategic bidding in electricity markets. In this framework, transmission capacities are updated while market participants simultaneously learn their bidding strategies through deep reinforcement learning, resulting in coupled and non-stationary learning dynamics. We show that transient policy degradation of bidding agents can generate inconsistent cost-capacity samples, which bias the transmission-capacity update and prevent the co-optimization process from converging to the desired solution. To mitigate this, replay-based capacity updates with nearest-neighbor filtering are introduced to exclude inconsistent samples from the update data. We then analyze a new oscillatory behavior that appears when the replay memory is enlarged. Numerical results on the IEEE 30-bus system demonstrate that enlarged replay memories improve robustness against transient policy degradation but can introduce a temporal lag, leading to oscillations unless the capacity-update learning rate is appropriately reduced. These results reveal the trade-off between replay-memory size and learning rate and provide practical guidelines for stable co-optimization.