Robustness of Reinforcement Learning-Based Congestion Management in Low-Voltage Grids
作者: Josef Hoppe, Sarra Bouchkati, Farah Nasr, Jonathan Krapp, Alexander Och, Maximilian Wirth, Jan Schiefelbein-Lach, Oliver Pohl, Andreas Ulbig, Michael T. Schaub
分类: eess.SY, cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出基于强化学习的低压电网拥堵管理方法以应对可再生能源挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 低压电网 拥堵管理 强化学习 随机森林 可再生能源 鲁棒性 电力系统
📋 核心要点
- 现有方法在处理低压电网中可再生能源引发的拥堵时，面临稀疏可观测性和测量噪声的挑战。
- 本文提出的解决方案通过将拥堵检测与控制解耦，结合随机森林与演员-评论家控制器，提高了系统的鲁棒性。
- 实验结果显示，在准确的电网参数下，控制器能将违规幅度降低98.9%，并在不同测量噪声下保持稳定性能。
📝 摘要（中文）
随着光伏发电、电动汽车充电和热泵需求的增加，低压配电网的运行极限面临挑战。本文提出了一种新的拥堵管理方法，结合随机森林预分类器与演员-评论家控制器，能够在稀疏可观测性、噪声测量和不完善电网模型下有效工作。通过在真实低压电网中测试合成未来操作场景，结果表明该控制器在准确的电网参数下可将总违规幅度降低98.9%，且在测试的测量噪声条件下性能几乎不变。尽管电网模型不匹配带来了更大的挑战，但控制器仍能在大多数情况下缓解违规问题。
🔬 方法详解
问题定义：本文旨在解决低压电网中由于光伏发电和电动汽车充电等因素引发的拥堵问题。现有方法往往依赖于端到端的强化学习，难以应对稀疏可观测性和测量噪声的挑战。
核心思路：论文提出的核心思路是将拥堵检测与控制过程解耦，利用随机森林作为预分类器来识别违规情况，再通过演员-评论家控制器进行控制决策。这种设计旨在提高系统在不确定环境下的鲁棒性。
技术框架：整体框架包括两个主要模块：随机森林预分类器用于检测违规，演员-评论家控制器负责制定控制策略。该框架在真实低压电网中进行测试，使用合成的未来操作场景以模拟低可观测性和可控性。
关键创新：最重要的技术创新在于将拥堵检测与控制过程解耦，采用随机森林与强化学习相结合的方法，显著提高了在噪声和模型不匹配情况下的鲁棒性。与现有方法相比，这种解耦设计使得系统在面对不确定性时表现更为稳定。
关键设计：在设计中，随机森林的参数设置经过优化，以提高分类准确性；演员-评论家控制器的结构采用了标准的深度学习框架，损失函数设计为最小化违规幅度，确保控制策略的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在准确的电网参数下，控制器能够将总违规幅度降低98.9%。在不同的测量噪声条件下，系统性能几乎不变，显示出良好的鲁棒性。此外，尽管电网模型不匹配带来了挑战，控制器仍能有效缓解大多数违规情况。
🎯 应用场景
该研究的潜在应用领域包括低压配电网的智能管理，尤其是在可再生能源比例日益增加的背景下。通过提高电网对拥堵的响应能力，能够有效保障电力供应的稳定性与安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Increases in photovoltaic generation, charging of electric vehicles and heat-pump demand challenge operating limits in low-voltage distribution grids. This requires curative curtailment methods that can operate under sparse observability, noisy measurements, and imperfect grid models. Unlike prior end-to-end reinforcement-learning approaches for partially observable curtailment, this work decouples congestion detection and control by combining a random-forest violation pre-classifier with an actor-critic controller, and evaluates its robustness to measurement noise and grid-parameter mismatch. The framework is tested on a real low-voltage grid using synthetic future operating scenarios with low observability and controllability. With accurate grid parameters, the controller reduces total violation magnitude by 98.9%, and this performance remains nearly unchanged under the tested measurement-noise settings. Grid-model mismatch proves to be more challenging, but the controller still mitigates most violations under the tested mismatch assumptions.