RL2Grid: Benchmarking Reinforcement Learning in Power Grid Operations

📄 arXiv: 2503.23101v2 📥 PDF

作者: Enrico Marchesini, Benjamin Donnot, Constance Crozier, Ian Dytham, Christian Merz, Lars Schewe, Nico Westerbeck, Cathy Wu, Antoine Marot, Priya L. Donti

分类: cs.LG, cs.AI

发布日期: 2025-03-29 (更新: 2025-06-20)

💡 一句话要点

RL2Grid：电力系统强化学习基准测试平台，加速电网控制算法研究

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 电力系统 基准测试 电网控制 仿真环境

📋 核心要点

  1. 电力系统控制面临复杂动态、长时程目标和物理约束等挑战，现有强化学习方法难以有效应对。
  2. RL2Grid通过标准化任务、状态空间、动作空间和奖励函数，提供了一个系统评估和比较RL算法的基准测试平台。
  3. 该平台整合了专家知识和安全约束，并为经典RL算法提供了参考性能指标，为未来研究指明方向。

📝 摘要（中文）

强化学习(RL)能够为电力系统脱碳提供自适应和可扩展的控制器。然而，RL方法在处理电力系统复杂的动态特性、长时程目标和严格的物理约束方面面临挑战。为此，我们提出了RL2Grid，这是一个与电力系统运营商合作设计的基准测试平台，旨在加速电网控制领域的研究进展，并促进RL技术的成熟。RL2Grid基于法国RTE的电力仿真框架构建，针对RL算法的系统评估和比较，标准化了任务、状态和动作空间以及奖励结构。此外，我们还整合了操作启发式方法，并基于人类专业知识设计了安全约束，以确保符合物理要求。通过为RL2Grid任务上的经典RL基线建立参考性能指标，我们强调了对能够处理真实系统的新方法的需求，并讨论了基于RL的电网控制的未来方向。

🔬 方法详解

问题定义：电力系统控制需要自适应和可扩展的控制器，以应对日益增长的可再生能源比例和复杂的电网动态。然而，现有强化学习方法在处理电力系统控制问题时，面临着状态空间维度高、动作空间复杂、长时程优化目标以及严格的物理约束等挑战。这些挑战使得传统的强化学习算法难以收敛或产生不安全的控制策略。

核心思路：RL2Grid的核心思路是构建一个标准化的、易于使用的电力系统强化学习基准测试平台，从而促进该领域的研究进展。通过提供统一的任务定义、状态空间、动作空间和奖励函数，RL2Grid使得研究人员可以更加方便地比较不同强化学习算法的性能，并专注于算法本身的创新。此外，该平台还集成了电力系统领域的专家知识，以确保生成的控制策略满足实际的物理约束和安全要求。

技术框架：RL2Grid基于法国RTE的电力系统仿真框架构建，包含以下主要模块：1) 电力系统仿真环境：提供真实的电力系统动态模型，用于模拟电网的运行状态。2) 标准化的任务定义：定义了不同的电力系统控制任务，例如电压控制、频率控制和潮流优化等。3) 标准化的状态空间和动作空间：定义了RL智能体可以观察到的状态变量和可以采取的控制动作。4) 标准化的奖励函数：定义了用于评估RL智能体性能的奖励信号，鼓励智能体学习到安全和高效的控制策略。5) 基线算法：提供了多种经典的强化学习算法作为参考，例如DQN、PPO和SAC等。

关键创新：RL2Grid的关键创新在于其标准化和易用性。通过提供统一的任务定义、状态空间、动作空间和奖励函数，RL2Grid使得研究人员可以更加方便地比较不同强化学习算法的性能，并专注于算法本身的创新。此外，该平台还集成了电力系统领域的专家知识，以确保生成的控制策略满足实际的物理约束和安全要求。这使得RL2Grid成为一个非常有价值的工具，可以加速电力系统强化学习领域的研究进展。

关键设计：RL2Grid的关键设计包括：1) 状态空间的设计：状态空间包含了电力系统的关键运行参数，例如电压、频率、潮流和发电机出力等。2) 动作空间的设计：动作空间包含了RL智能体可以采取的控制动作，例如调整发电机出力、调整变压器抽头和投切电容器等。3) 奖励函数的设计：奖励函数鼓励RL智能体学习到安全和高效的控制策略，例如保持电压稳定、维持频率稳定和降低网损等。4) 安全约束的设计：安全约束确保RL智能体生成的控制策略满足实际的物理约束，例如电压上下限约束和潮流上下限约束等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在RL2Grid平台上对经典RL算法（如DQN、PPO、SAC）进行基准测试，展示了现有算法在电力系统控制任务中的性能瓶颈。实验结果表明，现有算法难以同时满足安全约束和优化目标，需要开发更先进的RL算法来解决电力系统控制问题。该基准测试为未来研究提供了参考依据。

🎯 应用场景

RL2Grid可应用于电力系统电压控制、频率控制、潮流优化等多个领域，有助于开发更智能、更高效的电网控制策略，提高电网运行的稳定性和可靠性，促进可再生能源的消纳，并最终实现电力系统的脱碳目标。该平台为研究人员提供了一个标准化的测试环境，加速了相关算法的研发和部署。

📄 摘要（原文）

Reinforcement learning (RL) can provide adaptive and scalable controllers essential for power grid decarbonization. However, RL methods struggle with power grids' complex dynamics, long-horizon goals, and hard physical constraints. For these reasons, we present RL2Grid, a benchmark designed in collaboration with power system operators to accelerate progress in grid control and foster RL maturity. Built on RTE France's power simulation framework, RL2Grid standardizes tasks, state and action spaces, and reward structures for a systematic evaluation and comparison of RL algorithms. Moreover, we integrate operational heuristics and design safety constraints based on human expertise to ensure alignment with physical requirements. By establishing reference performance metrics for classic RL baselines on RL2Grid's tasks, we highlight the need for novel methods capable of handling real systems and discuss future directions for RL-based grid control.