Converter-Grid Interaction Stability Guaranteed Safe Deep Reinforcement Learning for Energy Storage Systems in Grid Frequency Support
作者: Fei Liu, Mengfan Zhang, Zhipeng Li, Frede Blaabjerg, Qianwen Xu
分类: eess.SY
发布日期: 2026-09-15
备注: 10 pages, 13 figures. Submitted to IEEE Transactions on Smart Grid
💡 一句话要点
提出CIS-DRL方法以解决ESS的稳定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 能量存储系统 深度强化学习 电网稳定性 频率调节 可再生能源 安全约束 智能电网
📋 核心要点
- 现有方法在应对可再生能源集成带来的电网稳定性挑战时，存在变换器-电网交互不稳定的问题。
- 论文提出的CIS-DRL方法通过引入稳定性可行性投影层，确保在学习过程中始终保持变换器-电网交互的稳定性。
- 实验结果显示，CIS-DRL方法在频率调节性能上有显著提升，且实现了100%的交互稳定性，避免了不稳定操作点。
📝 摘要（中文）
随着可再生能源资源（RESs）的日益集成，电网的稳定性面临挑战。能量存储系统（ESS）能够快速灵活地提供频率支持，以缓解频率偏差。然而，ESS的接口变换器可能会遇到变换器-电网交互稳定性问题。本文提出了一种保证变换器-电网交互稳定性的安全深度强化学习方法（CIS-DRL），以实现频率调节。首先，我们基于双深度神经网络（DNN）获得了稳定性区域，以识别保证的变换器-电网交互稳定性。接着，设计了一种新颖的CIS-STD3算法，集成了稳定性可行性投影层，在执行前将不安全的动作映射到稳定动作集，确保在整个学习过程中强制执行变换器-电网交互稳定性。实验结果表明，CIS-DRL方法在提高频率调节性能的同时，避免了不稳定的操作点，展示了其在实时ESS频率支持中的实际应用价值。
🔬 方法详解
问题定义：本文旨在解决能量存储系统（ESS）在与电网交互时的稳定性问题，现有方法未能有效应对频率波动带来的交互不稳定性。
核心思路：提出的CIS-DRL方法通过构建双深度神经网络（DNN）基础的稳定性区域，结合稳定性可行性投影层，确保在学习过程中将不安全的动作映射到安全的动作集，从而保证交互稳定性。
技术框架：整体架构包括稳定性区域的识别、CIS-STD3算法的设计以及稳定性可行性投影层的集成。首先，通过双DNN识别稳定性区域，然后在CIS-STD3算法中引入稳定性约束。
关键创新：最重要的创新点在于引入了稳定性可行性投影层，使得在学习过程中能够将不安全的动作转化为安全动作，从而实现了100%的交互稳定性，这在现有方法中是前所未有的。
关键设计：在算法设计中，采用了双DNN结构来识别稳定性区域，并在损失函数中加入了稳定性约束，确保在每次学习迭代中都能保持交互的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CIS-DRL方法在频率调节性能上显著优于传统方法，成功实现了100%的变换器-电网交互稳定性，避免了不稳定操作点，展示了其在实时ESS频率支持中的有效性。
🎯 应用场景
该研究的潜在应用领域包括电力系统的频率调节、可再生能源的集成管理以及智能电网的稳定性保障。通过确保ESS的稳定性，能够有效提升电网的可靠性和安全性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
The growing integration of converter interfaced renewable energy resources (RESs) intensifies stability challenges. Energy storage system (ESS) can provide fast and flexible frequency support to mitigate frequency deviations. However, the interface converter of ESS may encounter converter-grid interaction stability issues. This paper proposes a converter-grid interaction stability guaranteed safe DRL (CIS-DRL) method for ESS integrated power systems to achieve frequency regulation. We first obtain a double DNN-based stability region to identify the guaranteed converter-grid interaction stability. Next, a novel converter-grid interaction stability Safe-TD3 (CIS-STD3) algorithm is designed that integrates a stability feasibility projection layer to map unsafe actions into stable action set before execution, enforcing converter-grid interaction stability as a hard constraint throughout learning process. The proposed approach enables ESS for grid frequency support with 100% converter-grid interaction stability without violations. Experimental results show that the proposed CIS-DRL method achieves improved frequency regulation performance while preventing unstable operating points, demonstrating its practical applicability for real time ESS frequency support.