Offline Reinforcement Learning for Distribution-Grid Protection

📄 arXiv: 2609.24703v1 📥 PDF

作者: Julian Oelhaf, Alexander Luce, Christian Bergler, Andreas Maier, Siming Bayer

分类: eess.SY, cs.LG

发布日期: 2026-09-21

备注: Accepted for presentation at the IEEE Power & Energy Student Summit (PESS 2026), Karlsruhe, Germany. 6 pages, 2 figures. Code: https://github.com/julianoelhaf/offline-cql-protection

💡 一句话要点

提出离线强化学习以解决配电网保护问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 配电网保护 离线强化学习 卷积Q网络 故障检测 保守Q学习 智能电网 电力系统

📋 核心要点

  1. 现有的配电网保护方法在面对动态变化的操作条件时，往往难以有效应对故障情况。
  2. 本文提出了一种基于离线强化学习的线路选择跳闸方法，利用卷积Q网络处理电压和电流特征。
  3. 实验结果表明，所提方法在故障检测中的表现优异，精度和F1分数均达到了较高水平。

📝 摘要（中文）

数据驱动的保护方法可以补充传统继电器，尤其是在分布式发电、切换事件和短路水平变化的配电网中。本文研究了基于静态轨迹的线路选择跳闸，利用离线强化学习对CIGRE中压网络进行模拟。采用卷积Q网络接收电压-电流相量和表观阻抗特征，并使用保守Q学习进行训练。通过敏感性研究评估观察窗口、奖励变体和CQL权重。实验结果显示，最佳的每时间步结果为精度0.9993，召回率0.9496，F1分数0.9738。尽管在故障情形下表现良好，但由于静态轨迹和小规模非故障集，无法得出实际继电器安全性或部署准备的结论。

🔬 方法详解

问题定义：本文旨在解决配电网中由于分布式发电和操作条件变化导致的保护问题。现有方法在动态环境下的故障检测能力不足，难以满足实际需求。

核心思路：通过离线强化学习，利用卷积Q网络对电压-电流相量和表观阻抗特征进行处理，从而实现高效的线路选择跳闸。设计中结合了保守Q学习，以提高模型的稳定性和可靠性。

技术框架：整体架构包括数据采集、特征提取、模型训练和评估四个主要模块。首先从模拟的CIGRE中压网络中获取数据，然后提取相关特征，接着使用卷积Q网络进行训练，最后通过敏感性研究评估模型性能。

关键创新：本文的主要创新在于将离线强化学习与保守Q学习相结合，显著提升了故障检测的准确性和可靠性。这种方法与传统的基于规则的继电器保护机制有本质区别。

关键设计：在模型训练中，采用了不同的观察窗口和奖励变体，设置了CQL权重为0.9，并在后续实验中调整折扣因子至0.99，以优化模型性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，所提方法在225个保留的实验中，最佳每时间步结果为精度0.9993，召回率0.9496，F1分数0.9738。在214个故障情形中，默认模型的首次正确跳闸率为98.13%，而在后续实验中提升至98.60%。

🎯 应用场景

该研究的潜在应用领域包括电力系统的自动化保护、智能电网的故障检测与响应等。通过提高配电网的保护能力，可以有效减少故障造成的损失，提升电力系统的安全性与可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Data-driven protection may complement conventional relays in distribution grids whose operating conditions vary with distributed generation, switching events, and changing short-circuit levels. We study line-selective tripping from static trajectories of a realistically simulated CIGRE medium-voltage network using offline reinforcement learning. A convolutional Q-network receives causal voltage-current phasor and apparent-impedance features, optionally together with raw waveforms, and is trained with conservative Q-learning (CQL). A controlled sensitivity study evaluates two observation windows, reward variants, and three CQL weights under a common split and training protocol; one exploratory post-hoc run additionally increases the discount factor from $γ$=0.95 to 0.99. On 225 held-out episodes, the best per-timestep result is obtained with combined input and CQL weight $α$=0.9, reaching precision 0.9993, recall 0.9496, and F1-score 0.9738. Because dense per-timestep scores do not encode the terminal semantics of relay operation, we also evaluate the first non-wait action in each episode. The default combined-input agent selects the correct line-trip action first in 98.13% of 214 fault episodes, but trips in 72.73% of the 11 non-fault episodes. In the post-hoc run, the corresponding rates are 98.60% and 54.55%, respectively. The results show that dense predictive performance and terminal protection behavior can lead to different model rankings. Offline CQL therefore demonstrates strong faulted-line selection on the simulated fault episodes, while the static trajectories, small non-fault set, and single-seed post-hoc design preclude conclusions about practical relay security or deployment readiness.