Methods for Mitigating Uncertainty in Real-Time Operations of a Connected Microgrid

📄 arXiv: 2409.19568v1 📥 PDF

作者: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran, Rémy Rigo-Mariani, PengFeng Lin

分类: eess.SY

发布日期: 2024-09-29

备注: Published in Sustainable Energy, Grids and Networks 2024

期刊: Sustainable Energy, Grids and Networks, 38, 101334 (2024)

DOI: 10.1016/j.segan.2024.101334

💡 一句话要点

针对微电网实时运行不确定性，提出结合随机规划、模型预测控制和深度强化学习的两阶段控制策略。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 微电网 能量管理系统 随机规划 模型预测控制 深度强化学习 不确定性 实时控制

📋 核心要点

  1. 微电网能量管理面临太阳辐射和负载需求不确定性挑战，传统方法难以有效应对。
  2. 提出两阶段控制策略，结合随机规划、模型预测控制和深度强化学习，优化微电网运行。
  3. 实验结果表明，深度强化学习方法优于模型预测控制，降低了运行成本，提升了系统性能。

📝 摘要（中文）

本文比较了一种两阶段控制策略在并网微电网能量管理系统(EMS)中的有效性，该策略旨在应对不确定的太阳辐射和负载需求。研究使用了来自东南亚岛屿的真实世界数据集。第一阶段计算与主电网交换功率的日前计划，而第二阶段侧重于实时控制，以最小化系统运行成本。考虑到长期预测太阳辐射的挑战，第一阶段采用基于场景的随机规划(SP)。对于第二阶段，由于可以使用最新的天气状况，因此研究了几种处理不确定性的方法，包括：(1)历史上部署在EMS上的基于规则的方法，(2)使用显式预测或基于场景的随机预测的模型预测控制器(MPC)，以及(3)通过成本分布计算其自身隐式预测的深度强化学习(DRL)。这些方法的性能通过与假设完美预测的参考控制（代表理论上可实现的最小运行成本）的精度进行比较。结果表明，具有随机预测的MPC优于具有简单确定性预测的MPC。这表明即使在短时间窗口内使用显式预测也具有挑战性。然而，使用天气状况可能更有效，正如DRL（具有隐式预测）的表现所证明的那样，它比具有随机预测的MPC高出1.3%。

🔬 方法详解

问题定义：论文旨在解决并网微电网在不确定性条件下的实时运行优化问题。现有方法，如基于规则的控制，难以适应太阳辐射和负载需求的波动。即使是模型预测控制，在面对不准确的预测时，性能也会下降。因此，需要一种能够有效处理不确定性，并最小化微电网运行成本的控制策略。

核心思路：论文的核心思路是采用两阶段控制策略。第一阶段利用随机规划进行日前计划，考虑多种场景的不确定性。第二阶段则利用实时控制，根据最新的天气状况和负载需求，调整功率输出。通过结合模型预测控制和深度强化学习，实现对不确定性的更有效处理。深度强化学习通过学习成本分布，进行隐式预测，避免了显式预测的误差。

技术框架：整体框架分为两个阶段。第一阶段是日前计划，使用基于场景的随机规划，确定与主电网的功率交换计划。第二阶段是实时控制，包括三种方法：基于规则的方法、模型预测控制（使用显式或随机预测）和深度强化学习。模型预测控制根据预测信息优化控制策略，深度强化学习则通过与环境交互学习最优策略。

关键创新：最重要的创新点在于将深度强化学习应用于微电网的实时控制，并利用其隐式预测能力。与传统的模型预测控制相比，深度强化学习不需要显式预测，而是通过学习成本分布，直接优化控制策略，从而更好地适应不确定性。

关键设计：深度强化学习部分的关键设计包括：状态空间的设计（例如，包括天气状况、负载需求、电池状态等），动作空间的设计（例如，功率输出），奖励函数的设计（例如，最小化运行成本），以及网络结构的选择（例如，深度Q网络或策略梯度方法）。具体的参数设置和网络结构在论文中可能没有详细说明，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，在实时控制阶段，使用随机预测的MPC优于使用确定性预测的MPC，说明了处理不确定性的重要性。更重要的是，深度强化学习方法（具有隐式预测）优于使用随机预测的MPC，性能提升了1.3%，证明了深度强化学习在处理微电网不确定性方面的潜力。

🎯 应用场景

该研究成果可应用于智能电网、微电网的能量管理系统，尤其适用于可再生能源占比高的场景。通过优化微电网的运行，可以降低能源成本，提高能源利用效率，促进可再生能源的消纳，并增强电网的稳定性。未来可进一步推广到更大规模的电力系统，实现更智能、更高效的能源管理。

📄 摘要（原文）

In this paper, we compare the effectiveness of a two-stage control strategy for the energy management system (EMS) of a grid-connected microgrid under uncertain solar irradiance and load demand using a real-world dataset from an island in Southeast Asia (SEA). The first stage computes a day-ahead commitment for power profile exchanged with the main grid, while the second stage focuses on real-time controls to minimize the system operating cost. Given the challenges in accurately forecasting solar irradiance for a long time horizon, scenario-based stochastic programming (SP) is considered for the first stage. For the second stage, as the most recent weather conditions can be used, several methodologies to handle the uncertainties are investigated, including: (1) the rule-based method historically deployed on EMS, (2) model predictive controller (MPC) using either an explicit forecast or scenario-based stochastic forecast, and (3) Deep Reinforcement Learning (DRL) computing its own implicit forecast through a distribution of costs. Performances of these methodologies are compared in terms of precision with a reference control assuming perfect forecast -- i.e. representing the minimal achievable operation cost in theory. Obtained results show that MPC with a stochastic forecast outperforms MPC with a simple deterministic prediction. This suggests that using an explicit forecast, even within a short time window, is challenging. Using weather conditions can, however, be more efficient, as demonstrated by DRL (with implicit forecast), outperforming MPC with stochastic forecast by 1.3\%.