Make Safe Decisions in Power System: Safe Reinforcement Learning Based Pre-decision Making for Voltage Stability Emergency Control
作者: Congbo Bi, Lipeng Zhu, Di Liu, Chao Lu
分类: eess.SY
发布日期: 2024-05-26
备注: 11 pages
💡 一句话要点
提出基于安全强化学习的电压稳定紧急控制预决策方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 安全强化学习 电压稳定 紧急控制 电力系统 主动学习
📋 核心要点
- 传统基于模型的紧急控制方法难以适应复杂运行条件，面临可再生能源高渗透带来的挑战。
- 提出基于安全强化学习的预决策框架，利用神经网络进行决策、安全评估和校正，无需精确参数。
- 通过梯度投影提供安全保证，结合主动学习加速训练并提高安全估计精度，实验验证了有效性。
📝 摘要（中文）
针对新能源高渗透率和电力电子设备广泛应用给电力系统自适应紧急控制策略带来的挑战，本文提出了一种基于安全强化学习(SRL)的短期电压崩溃预决策框架。该框架利用神经网络进行预决策制定、安全裕度估计和纠正措施实施，无需精确的系统参数。通过梯度投影，提出了一种安全投影校正算法，为修正风险行为提供理论上的安全保证。结合主动学习，加速训练过程，提高安全估计精度，进一步增强了算法的适用性。在New England 39节点系统和广东电网的数值测试表明了该框架的有效性。
🔬 方法详解
问题定义：电力系统中，可再生能源和电力电子设备的大量接入，使得系统运行状态更加复杂多变，传统的基于模型的紧急控制方法难以适应这些变化，并且需要精确的系统参数。现有的基于强化学习的方法虽然具有一定的自适应性，但在实际电力系统应用中，缺乏足够的安全性保障，容易导致电压崩溃等严重事故。因此，需要一种能够在复杂运行条件下，保证安全性的自适应紧急控制策略。
核心思路：本文的核心思路是利用安全强化学习（SRL）来解决电力系统电压稳定紧急控制问题。通过构建一个预决策框架，在采取控制动作之前，先评估其安全性，并对可能导致风险的动作进行修正，从而在保证系统安全的前提下，实现自适应的控制。这种方法的核心在于将安全性约束融入到强化学习的过程中，避免了传统强化学习方法在探索过程中可能出现的危险行为。
技术框架：该框架主要包含三个模块：预决策制定模块、安全裕度估计模块和纠正措施实施模块。首先，预决策制定模块利用神经网络学习电力系统的动态特性，生成初步的控制决策。然后，安全裕度估计模块评估该决策可能带来的风险，计算安全裕度。如果安全裕度低于设定的阈值，则启动纠正措施实施模块，利用安全投影校正算法对决策进行修正，使其满足安全约束。整个框架通过强化学习不断优化，提高决策的准确性和安全性。
关键创新：该论文的关键创新在于提出了安全投影校正算法，该算法利用梯度投影的方法，将可能导致风险的控制动作投影到安全区域，从而保证了控制动作的安全性。此外，该论文还结合了主动学习，通过选择信息量最大的样本进行训练，加速了训练过程，并提高了安全估计的精度。这种将安全约束、梯度投影和主动学习相结合的方法，是该论文区别于现有方法的本质区别。
关键设计：在网络结构方面，预决策制定模块和安全裕度估计模块均采用深度神经网络，网络的具体层数和神经元数量根据实际系统的复杂程度进行调整。损失函数方面，除了传统的强化学习奖励函数外，还引入了安全约束相关的惩罚项，以引导智能体学习安全的控制策略。安全投影校正算法的关键参数是投影步长和安全裕度阈值，这些参数需要根据实际系统的特性进行调整，以保证算法的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
在New England 39节点系统和广东电网的数值测试中，所提出的框架能够有效地防止电压崩溃，并显著提高了系统的安全性。与传统的基于模型的控制方法相比，该方法具有更强的自适应性和鲁棒性。实验结果表明，通过安全投影校正算法，能够有效地修正风险动作，保证系统的安全运行。此外，主动学习的应用显著加速了训练过程，提高了安全估计的精度。
🎯 应用场景
该研究成果可应用于电力系统的电压稳定紧急控制，提高系统应对突发故障的能力，降低电压崩溃的风险。该方法无需精确的系统参数，具有较强的适应性，可推广到其他电力系统安全控制领域，例如频率控制、潮流优化等。未来，该研究有望促进电力系统智能化水平的提升，为构建安全、可靠、高效的智能电网提供技术支撑。
📄 摘要（原文）
The high penetration of renewable energy and power electronic equipment bring significant challenges to the efficient construction of adaptive emergency control strategies against various presumed contingencies in today's power systems. Traditional model-based emergency control methods have difficulty in adapt well to various complicated operating conditions in practice. Fr emerging artificial intelligence-based approaches, i.e., reinforcement learning-enabled solutions, they are yet to provide solid safety assurances under strict constraints in practical power systems. To address these research gaps, this paper develops a safe reinforcement learning (SRL)-based pre-decision making framework against short-term voltage collapse. Our proposed framework employs neural networks for pre-decision formulation, security margin estimation, and corrective action implementation, without reliance on precise system parameters. Leveraging the gradient projection, we propose a security projecting correction algorithm that offers theoretical security assurances to amend risky actions. The applicability of the algorithm is further enhanced through the incorporation of active learning, which expedites the training process and improves security estimation accuracy. Extensive numerical tests on the New England 39-bus system and the realistic Guangdong Provincal Power Grid demonstrate the effectiveness of the proposed framework.