Coordinated Dispatch of Energy Storage Systems in the Active Distribution Network: A Complementary Reinforcement Learning and Optimization Approach

📄 arXiv: 2410.13223v1 📥 PDF

作者: Bohan Zhang, Zhongkai Yi, Ying Xu, Zhenghong Tu

分类: eess.SY

发布日期: 2024-10-17

💡 一句话要点

提出SA2CO方法，解决主动配电网中储能系统实时安全经济的协同调度问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 主动配电网 储能系统 强化学习 优化方法 协同调度 安全评估 混合神经网络

📋 核心要点

  1. 主动配电网的复杂性与可再生能源的波动性，对储能系统的实时安全调度提出了挑战，传统方法难以兼顾。
  2. SA2CO方法融合强化学习的快速决策能力与优化方法的安全保障，实现储能系统的协同调度。
  3. 实验结果表明，SA2CO方法在实时性、安全性和经济性方面均优于现有强化学习和优化方法。

📝 摘要（中文）

针对主动配电网(ADN)的复杂性和非线性，以及快速变化的可再生能源(RE)带来的挑战，本文提出了一种互补的强化学习(RL)和优化方法，即SA2CO，以解决ADN中储能系统(ESS)的协同调度问题。该方法利用RL快速决策和处理模型不准确性的能力，同时优化方法确保ADN的安全性。此外，构建了一个混合数据驱动和专家经验的辅助神经网络，作为SA2CO算法中的快速安全评估组件，从而实现RL和优化方法之间的动态切换。仿真结果表明，该方法在实现ADN中多个ESS的实时、安全和经济调度方面具有有效性和可扩展性，优于最先进的RL和优化方法。

🔬 方法详解

问题定义：主动配电网中可再生能源的快速变化和网络本身的复杂性，使得储能系统的实时、安全和经济调度成为一个难题。现有的方法，如传统的优化方法，计算复杂度高，难以满足实时性要求；而单纯的强化学习方法，难以保证配电网运行的安全性。

核心思路：SA2CO方法的核心在于将强化学习和优化方法相结合，利用强化学习快速决策的优势，同时利用优化方法保证配电网的安全性。通过一个混合数据驱动和专家经验的辅助神经网络进行快速安全评估，动态地在强化学习和优化方法之间切换，从而实现实时、安全和经济的调度。

技术框架：SA2CO方法包含以下几个主要模块：1) 强化学习模块，负责快速生成调度策略；2) 优化模块，负责对强化学习生成的策略进行安全校正；3) 快速安全评估模块，利用混合神经网络评估当前状态的安全性，并决定是否需要切换到优化模块。整体流程是，首先利用强化学习生成初步的调度策略，然后通过快速安全评估模块判断该策略是否安全，如果安全，则直接执行；如果不安全，则切换到优化模块进行安全校正，然后再执行。

关键创新：SA2CO方法的关键创新在于：1) 将强化学习和优化方法相结合，充分利用两者的优势；2) 提出了一个混合数据驱动和专家经验的辅助神经网络，用于快速安全评估，实现了强化学习和优化方法之间的动态切换。与现有方法的本质区别在于，SA2CO方法能够兼顾实时性和安全性，从而实现更优的调度效果。

关键设计：混合神经网络的输入包括配电网的状态变量（如电压、电流、功率等）和专家经验（如安全约束条件），输出为安全评估结果。强化学习模块采用Actor-Critic框架，Actor网络负责生成调度策略，Critic网络负责评估策略的价值。优化模块采用混合整数线性规划(MILP)模型，以最小化运行成本为目标，同时满足配电网的安全约束。

📊 实验亮点

仿真结果表明，SA2CO方法在实时性、安全性和经济性方面均优于现有的强化学习和优化方法。具体来说，SA2CO方法能够在保证配电网安全运行的前提下，显著降低运行成本，并提高可再生能源的消纳比例。与传统的优化方法相比，SA2CO方法能够实现更快的调度速度，满足实时性要求。与单纯的强化学习方法相比，SA2CO方法能够更好地保证配电网的安全性，避免出现电压越限等问题。

🎯 应用场景

该研究成果可应用于智能电网、微电网等领域，实现分布式能源的高效利用和电网的安全稳定运行。通过优化储能系统的调度，可以提高可再生能源的消纳能力，降低电网的运行成本，并为用户提供更可靠的电力供应。未来，该方法有望推广到更大规模的配电网，并与其他智能电网技术相结合，构建更加智能、高效和可持续的电力系统。

📄 摘要（原文）

The complexity and nonlinearity of active distribution network (ADN), coupled with the fast-changing renewable energy (RE), necessitate advanced real-time and safe dispatch approach. This paper proposes a complementary reinforcement learning (RL) and optimization approach, namely SA2CO, to address the coordinated dispatch of the energy storage systems (ESSs) in the ADN. The proposed approach leverages RL's capability to make fast decision and address the model inaccuracies, while optimization methods ensure the ADN security. Furthermore, a hybrid data-driven and expert-experience auxiliary neural network is formulated as a rapid security assessment component in the SA2CO algorithm, enabling dynamic switching between RL and optimization methodologies. Simulation results demonstrate the proposed method's effectiveness and scalability in achieving real-time, safe, and economical dispatch of multiple ESSs in the ADN, surpassing the performance of the state-of-the-art RL and optimization methods.