Fault Detection for agents on power grid topology optimization: A Comprehensive analysis

📄 arXiv: 2406.16426v3 📥 PDF

作者: Malte Lehna, Mohamed Hassouna, Dmitry Degtyar, Sven Tomforde, Christoph Scholz

分类: cs.LG, cs.AI, eess.SY

发布日期: 2024-06-24 (更新: 2024-09-17)

备注: 11 Pages plus references and appendix. The appendix consist of additional material of the paper and is not included in the initial submission. The paper was presented at the ECML workshop ML4SPS

💡 一句话要点

针对电力网络拓扑优化中DRL智能体的故障检测与预测方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 电力网络拓扑优化 深度强化学习 故障检测 故障预测 LightGBM 聚类分析 特征重要性分析

📋 核心要点

  1. 现有基于DRL的电力网络拓扑优化方法，对智能体失效原因的解释不够清晰，缺乏提前预警机制。
  2. 通过聚类分析大量失败案例，识别常见故障模式，并提出多分类预测方法提前检测故障。
  3. 实验表明，LightGBM模型在故障预测方面表现最佳，准确率达82%，电网生存/失败分类准确率达87%。

📝 摘要（中文）

本文关注于使用深度强化学习（DRL）优化输电网络拓扑的问题，该方法日益受到关注。目前已提出多种DRL智能体，它们主要在Learning to Run a Power Network (L2RPN)挑战赛的Grid2Op环境中进行基准测试。这些环境具有逼真的电网场景和底层潮流计算后端等优点。然而，智能体的生存或失败的解释并不总是明确的，因为存在多种潜在原因。本文侧重于电力系统仿真中的故障，旨在识别模式并提前检测它们。我们收集了三个不同智能体在WCCI 2022 L2RPN环境中的失败场景，总计约4万个数据点。通过聚类，我们能够检测到五个不同的簇，识别出常见的故障类型。此外，我们提出了一种多分类预测方法来提前检测故障，并评估了五种不同的预测模型。其中，Light Gradient-Boosting Machine (LightGBM)表现出最佳的故障预测性能，准确率达到82%。它还能在87%的情况下准确分类电网是生存还是失败。最后，我们提供了详细的特征重要性分析，确定了电网中的关键特征和区域。

🔬 方法详解

问题定义：论文旨在解决电力网络拓扑优化中，基于深度强化学习（DRL）的智能体在运行时出现故障的问题。现有方法难以解释智能体失效的原因，缺乏提前预警机制，导致系统鲁棒性不足。

核心思路：论文的核心思路是通过分析大量智能体失效的案例，识别出常见的故障模式，并利用机器学习方法构建预测模型，从而实现对故障的提前检测和预警。这种方法能够帮助提升电力网络拓扑优化的稳定性和可靠性。

技术框架：整体框架包括数据收集、故障聚类分析、故障预测模型构建和特征重要性分析四个主要阶段。首先，收集不同DRL智能体在L2RPN环境中的失败案例数据。然后，利用聚类算法对失败案例进行分类，识别常见的故障类型。接着，构建多分类预测模型，预测电网是否会发生故障以及故障类型。最后，进行特征重要性分析，确定影响故障发生的关键因素。

关键创新：论文的关键创新在于将聚类分析和多分类预测相结合，用于电力网络拓扑优化中智能体的故障检测。通过聚类分析，能够识别出常见的故障模式，为故障预测提供先验知识。多分类预测模型能够提前预警潜在的故障，从而提升系统的鲁棒性。

关键设计：论文采用了LightGBM作为主要的预测模型，因为它具有高效、准确的特点。在特征选择方面，论文利用领域知识和特征重要性分析相结合的方法，选取了与电力系统运行状态密切相关的特征，例如线路潮流、节点电压等。聚类算法采用K-means，并根据轮廓系数等指标选择最优的聚类数量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于LightGBM的故障预测模型在WCCI 2022 L2RPN环境中取得了显著的性能提升，故障预测准确率达到82%，电网生存/失败分类准确率达到87%。特征重要性分析揭示了电网中的关键区域和特征，为电力工程师提供了有价值的参考信息。

🎯 应用场景

该研究成果可应用于智能电网的监控和预警系统，帮助电力工程师提前发现潜在的故障风险，并采取相应的措施，从而提高电网的稳定性和可靠性。此外，该方法还可以推广到其他复杂系统的故障诊断和预测领域，例如交通网络、通信网络等。

📄 摘要（原文）

Optimizing the topology of transmission networks using Deep Reinforcement Learning (DRL) has increasingly come into focus. Various DRL agents have been proposed, which are mostly benchmarked on the Grid2Op environment from the Learning to Run a Power Network (L2RPN) challenges. The environments have many advantages with their realistic grid scenarios and underlying power flow backends. However, the interpretation of agent survival or failure is not always clear, as there are a variety of potential causes. In this work, we focus on the failures of the power grid simulation to identify patterns and detect them in advance. We collect the failed scenarios of three different agents on the WCCI 2022 L2RPN environment, totaling about 40k data points. By clustering, we are able to detect five distinct clusters, identifying common failure types. Further, we propose a multi-class prediction approach to detect failures beforehand and evaluate five different prediction models. Here, the Light Gradient-Boosting Machine (LightGBM) shows the best failure prediction performance, with an accuracy of 82%. It also accurately classifies whether a the grid survives or fails in 87% of cases. Finally, we provide a detailed feature importance analysis that identifies critical features and regions in the grid.