Fair Reinforcement Learning Algorithm for PV Active Control in LV Distribution Networks
作者: Maurizio Vassallo, Amina Benzerga, Alireza Bahmanyar, Damien Ernst
分类: eess.SY, cs.AI, cs.LG
发布日期: 2024-09-09
DOI: 10.1109/ICCEP57914.2023.10247485
💡 一句话要点
提出一种公平强化学习算法，用于低压配电网中光伏有功控制，解决电压问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 光伏控制 配电网 电压控制 公平性 智能逆变器 分布式能源
📋 核心要点
- 光伏渗透率提高导致配电网电压问题日益突出，现有智能逆变器控制策略可能对部分用户不公平，影响光伏安装积极性。
- 论文提出基于强化学习的控制方法，旨在解决配电网电压问题，同时兼顾用户间有功功率削减的公平性。
- 实验结果表明，该方法能够有效控制电压，并在有功功率削减方面实现较好的公平性。
📝 摘要（中文）
分布式能源（特别是光伏面板）的日益普及给电力网络控制带来了新的复杂挑战。光伏面板的大量能源生产导致了网络中的电压问题。目前，光伏智能逆变器（SI）通过控制其有功功率的产生和无功功率的注入或吸收来缓解电压问题。然而，降低光伏面板的有功功率输出可能被一些客户认为是不公平的，从而阻碍未来的安装。为了解决这个问题，本文提出了一种强化学习技术，以解决配电网络中的电压问题，同时考虑客户之间有功功率削减的公平性。通过实验探索了所提出方法的可行性，证明了其能够以公平有效的方式控制电压。
🔬 方法详解
问题定义：论文旨在解决低压配电网中，由于光伏发电渗透率提高导致的电压越限问题。现有方法，如智能逆变器直接控制，可能导致部分用户的光伏发电被过度削减，造成不公平现象，影响用户安装光伏的积极性。因此，需要一种既能有效控制电压，又能保证用户间公平性的控制策略。
核心思路：论文的核心思路是利用强化学习算法，学习一种能够动态调整各个智能逆变器有功功率输出的策略。通过强化学习，可以学习到在满足电压约束的前提下，尽可能公平地分配有功功率削减任务，从而避免对个别用户造成过大的影响。公平性被纳入强化学习的奖励函数中，引导智能体学习公平的控制策略。
技术框架：整体框架包括以下几个主要部分：1) 配电网环境建模：建立包含光伏、负荷和线路参数的配电网仿真环境。2) 智能体设计：设计强化学习智能体，负责根据环境状态（如电压、光伏发电量等）做出控制决策。3) 奖励函数设计：设计奖励函数，既要考虑电压控制效果，又要考虑用户间有功功率削减的公平性。4) 训练过程：通过与环境交互，不断优化智能体的控制策略。
关键创新：论文的关键创新在于将公平性指标融入强化学习的奖励函数中，从而引导智能体学习公平的控制策略。传统的强化学习方法通常只关注控制目标（如电压稳定），而忽略了用户间的公平性。通过引入公平性指标，可以有效地解决现有方法存在的公平性问题。
关键设计：论文中，奖励函数的设计至关重要。奖励函数通常包含两部分：一部分是与电压控制相关的奖励，例如，当电压越限时，给予负奖励；另一部分是与公平性相关的奖励，例如，可以使用基尼系数或类似的指标来衡量用户间有功功率削减的公平性，并将其纳入奖励函数中。具体参数设置和网络结构（例如，使用的强化学习算法类型，如Q-learning或Actor-Critic方法，以及神经网络的结构）在论文中可能有所描述，但摘要中未提供详细信息。
🖼️ 关键图片
📊 实验亮点
摘要中提到，实验结果表明该方法能够有效控制电压，并在有功功率削减方面实现较好的公平性。但具体的性能数据、对比基线以及提升幅度等信息，摘要中未提供详细数据，需要查阅原文才能获得更详细的实验结果。
🎯 应用场景
该研究成果可应用于实际的低压配电网中，通过部署基于强化学习的智能逆变器控制系统，可以有效解决光伏发电带来的电压问题，同时保证用户间的公平性，提高用户对光伏发电的接受度，促进分布式能源的推广应用。该方法还可扩展到其他分布式能源的控制，例如储能系统等。
📄 摘要（原文）
The increasing adoption of distributed energy resources, particularly photovoltaic (PV) panels, has presented new and complex challenges for power network control. With the significant energy production from PV panels, voltage issues in the network have become a problem. Currently, PV smart inverters (SIs) are used to mitigate the voltage problems by controlling their active power generation and reactive power injection or absorption. However, reducing the active power output of PV panels can be perceived as unfair to some customers, discouraging future installations. To solve this issue, in this paper, a reinforcement learning technique is proposed to address voltage issues in a distribution network, while considering fairness in active power curtailment among customers. The feasibility of the proposed approach is explored through experiments, demonstrating its ability to effectively control voltage in a fair and efficient manner.