Data-driven Under Frequency Load Shedding Using Reinforcement Learning
作者: Glory Justin, Santiago Paternain
分类: eess.SY
发布日期: 2024-10-06
💡 一句话要点
提出基于强化学习和机器学习分类器的自适应低频减载方案，提升电力系统稳定性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 低频减载 强化学习 机器学习 电力系统稳定性 智能电网
📋 核心要点
- 传统低频减载方案难以适应现代电网的复杂性，需要更智能的自适应方法。
- 利用机器学习分类器模拟系统频率响应，加速强化学习智能体的训练过程。
- 实验表明，该方法在减少减载量的同时，能有效稳定频率，提升系统弹性。
📝 摘要（中文）
低频减载（UFLS）是电力系统中的一项关键控制策略，旨在维持系统稳定并在严重频率下降期间防止停电。传统的UFLS方案通常依赖于预定义的规则和阈值，这可能无法有效地适应现代电网的动态和复杂性。强化学习（RL）方法已被提出来有效地处理UFLS问题。然而，由于在训练的每一步都需要求解多个微分方程，因此训练这些RL智能体在计算上是繁重的。这种计算负担也限制了RL智能体在实时应用中的有效性。为了减少计算负担，训练了一个机器学习（ML）分类器来捕获系统对各种扰动的频率响应。然后使用该分类器训练RL智能体，从而避免在智能体训练的每一步进行多次计算。该方法的主要特点包括减少训练时间，以及与其他RL智能体相比更快的实时应用，并且它具有通过最小化减载量同时有效稳定频率来提高系统弹性的潜力。与传统UFLS方案的对比研究表明，基于RL的策略实现了卓越的性能，同时显着减少了所需的时间。在IEEE 68总线系统上的仿真结果验证了所提出的RL方法的性能。
🔬 方法详解
问题定义：论文旨在解决传统低频减载(UFLS)方案在现代电力系统中适应性差的问题。传统方法依赖于固定的规则和阈值，无法有效应对电网运行的动态变化和复杂扰动，容易造成过量减载或减载不足，影响系统稳定性。现有基于强化学习的UFLS方法虽然具有自适应性，但训练过程计算量巨大，难以应用于实时控制。
核心思路：论文的核心思路是利用机器学习分类器来近似电力系统的频率响应，从而显著降低强化学习智能体的训练复杂度。通过预先训练一个能够快速预测系统频率变化的分类器，强化学习智能体可以在一个更高效的环境中进行训练，避免了在每次迭代中求解复杂的电力系统动态方程。
技术框架：该方法的技术框架主要包含两个阶段：首先，利用历史数据训练一个机器学习分类器，该分类器能够根据系统状态和扰动情况预测频率响应。然后，使用该分类器作为强化学习智能体的环境模型，训练智能体学习最优的低频减载策略。智能体通过与分类器交互，学习在不同系统状态下采取何种减载措施，以最小化减载量并维持系统频率稳定。
关键创新：该方法最重要的创新点在于将机器学习分类器与强化学习相结合，显著降低了强化学习的训练复杂度，使其更适用于实时电力系统控制。与直接使用强化学习方法相比，该方法避免了在训练过程中多次求解电力系统动态方程，大大缩短了训练时间，并提高了智能体的实时响应能力。
关键设计：机器学习分类器的选择和训练是关键。论文中可能采用了某种回归或分类算法（具体算法未知）来预测频率响应。强化学习智能体的奖励函数设计也至关重要，需要综合考虑减载量和频率稳定性。具体的网络结构、参数设置以及损失函数等细节在论文中可能有所描述（具体细节未知）。
🖼️ 关键图片
📊 实验亮点
论文通过在IEEE 68总线系统上的仿真实验验证了所提出方法的有效性。实验结果表明，与传统的UFLS方案相比，该方法能够在减少减载量的同时，更有效地稳定系统频率，并显著缩短训练时间。具体的性能提升幅度（例如减载量减少百分比、频率稳定时间缩短百分比等）需要在论文中查找具体数据。
🎯 应用场景
该研究成果可应用于智能电网的低频减载控制，提升电力系统的稳定性和自适应性。通过更精确的减载策略，可以减少不必要的负荷损失，保障重要用户的供电可靠性。此外，该方法还可推广到其他电力系统控制领域，例如电压控制、潮流优化等，为构建更智能、更可靠的电力系统提供技术支撑。
📄 摘要（原文）
Underfrequency load shedding (UFLS) is a critical control strategy in power systems aimed at maintaining system stability and preventing blackouts during severe frequency drops. Traditional UFLS schemes often rely on predefined rules and thresholds, which may not adapt effectively to the dynamic and complex nature of modern power grids. Reinforcement learning (RL) methods have been proposed to effectively handle the UFLS problem. However, training these RL agents is computationally burdensome due to solving multiple differential equations at each step of training. This computational burden also limits the effectiveness of the RL agents for use in real-time. To reduce the computational burden, a machine learning (ML) classifier is trained to capture the frequency response of the system to various disturbances. The RL agent is then trained using the classifier, thus avoiding multiple computations during each step of agent training. Key features of this approach include reduced training time, as well as faster real-time application compared to other RL agents, and its potential to improve system resilience by minimizing the amount of load shed while effectively stabilizing the frequency. Comparative studies with conventional UFLS schemes demonstrate that the RL-based strategy achieves superior performance while significantly reducing the time required. Simulation results on the IEEE 68-bus system validate the performance of the proposed RL method.