Coordinated Power Smoothing Control for Wind Storage Integrated System with Physics-informed Deep Reinforcement Learning

📄 arXiv: 2412.17838v1 📥 PDF

作者: Shuyi Wang, Huan Zhao, Yuji Cao, Zibin Pan, Guolong Liu, Gaoqi Liang, Junhua Zhao

分类: eess.SY, cs.AI

发布日期: 2024-12-17

💡 一句话要点

提出一种基于物理信息深度强化学习的风储联合系统协调功率平滑控制方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 风储联合系统 功率平滑控制 深度强化学习 多智能体 物理信息神经网络 尾流效应 电池退化模型

📋 核心要点

  1. 现有风储联合系统功率平滑控制策略忽略了电池和风机间的复杂关系和控制频率差异，且未充分考虑尾流效应和电池退化成本。
  2. 提出一种分层协调控制框架，集成了尾流模型和电池退化模型，并采用多智能体强化学习克服问题的双层特性。
  3. 通过在WindFarmSimulator上的仿真，结果表明该算法在总利润上提高了约11%，功率波动降低了19%。

📝 摘要（中文）

风储联合系统功率平滑控制(PSC)已成为确保高效可靠风能发电的有前景的解决方案。然而，现有的PSC策略忽略了电池和风力涡轮机之间复杂的相互作用和不同的控制频率，并且缺乏对尾流效应和电池退化成本的考虑。本文设计了一种新颖的分层协调控制框架来有效应对这些挑战，该框架集成了尾流模型和电池退化模型。此外，在将问题重新表述为马尔可夫决策过程后，引入了多智能体强化学习方法来克服问题的双层特性。提出了一种物理信息神经网络辅助的多智能体深度确定性策略梯度(PAMA-DDPG)算法，以结合功率波动微分方程并加速学习过程。通过使用WindFarmSimulator (WFSim)在四种不同场景下进行的仿真评估了所提出方法的有效性。结果表明，与传统方法相比，该算法的总利润提高了约11%，功率波动降低了19%，从而实现了经济效率和并网能源可靠性的双重目标。

🔬 方法详解

问题定义：论文旨在解决风储联合系统中，现有功率平滑控制策略未能充分考虑电池和风力涡轮机之间的复杂交互、控制频率差异、尾流效应以及电池退化成本的问题。这些因素导致系统经济效益受损，并网能量可靠性降低。

核心思路：论文的核心思路是设计一个分层协调控制框架，该框架能够同时优化风力涡轮机和储能系统的控制策略。通过引入尾流模型和电池退化模型，更准确地评估系统的性能。利用多智能体强化学习方法，解决控制策略的双层优化问题，从而实现经济效益和并网可靠性的双重目标。

技术框架：整体框架包含以下几个主要模块：1) 尾流模型，用于模拟风力涡轮机之间的尾流效应；2) 电池退化模型，用于评估电池的寿命和维护成本；3) 分层协调控制模块，将控制问题分解为风力涡轮机控制和储能系统控制两个层次；4) 基于物理信息神经网络辅助的多智能体深度确定性策略梯度(PAMA-DDPG)算法，用于学习最优的控制策略。

关键创新：论文的关键创新在于：1) 提出了一个集成了尾流模型和电池退化模型的分层协调控制框架；2) 引入了物理信息神经网络来加速多智能体强化学习的训练过程。通过将功率波动微分方程融入神经网络，可以有效地利用物理知识来指导学习，从而提高算法的收敛速度和性能。

关键设计：PAMA-DDPG算法的关键设计包括：1) 使用深度神经网络来逼近策略和价值函数；2) 使用经验回放机制来提高样本的利用率；3) 使用目标网络来稳定训练过程；4) 将功率波动微分方程作为正则化项添加到损失函数中，以约束学习过程并提高泛化能力。具体的参数设置（如学习率、折扣因子、神经网络结构等）未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与传统方法相比，所提出的PAMA-DDPG算法在总利润上提高了约11%，功率波动降低了19%。这些结果表明，该算法能够有效地平衡经济效益和并网可靠性，并显著优于现有的控制策略。通过在WindFarmSimulator上进行四种不同场景的仿真，验证了该算法在不同工况下的鲁棒性和有效性。

🎯 应用场景

该研究成果可应用于大规模风电场的功率平滑控制，提高风电场的经济效益和并网可靠性。通过优化风力涡轮机和储能系统的协调控制，可以减少风电功率的波动，提高电网的稳定性，促进风能等可再生能源的广泛应用。该方法还可扩展到其他类型的可再生能源发电系统，如光伏发电系统。

📄 摘要（原文）

The Wind Storage Integrated System with Power Smoothing Control (PSC) has emerged as a promising solution to ensure both efficient and reliable wind energy generation. However, existing PSC strategies overlook the intricate interplay and distinct control frequencies between batteries and wind turbines, and lack consideration of wake effect and battery degradation cost. In this paper, a novel coordinated control framework with hierarchical levels is devised to address these challenges effectively, which integrates the wake model and battery degradation model. In addition, after reformulating the problem as a Markov decision process, the multi-agent reinforcement learning method is introduced to overcome the bi-level characteristic of the problem. Moreover, a Physics-informed Neural Network-assisted Multi-agent Deep Deterministic Policy Gradient (PAMA-DDPG) algorithm is proposed to incorporate the power fluctuation differential equation and expedite the learning process. The effectiveness of the proposed methodology is evaluated through simulations conducted in four distinct scenarios using WindFarmSimulator (WFSim). The results demonstrate that the proposed algorithm facilitates approximately an 11% increase in total profit and a 19% decrease in power fluctuation compared to the traditional methods, thereby addressing the dual objectives of economic efficiency and grid-connected energy reliability.