Distributed Reinforcement Learning using Local Smart Meter Data for Voltage Regulation in Distribution Networks
作者: Dong Liu, Juan S. Giraldo, Peter Palensky, Pedro P. Vergara
分类: eess.SY
发布日期: 2025-12-14
💡 一句话要点
提出基于本地智能电表数据的分布式强化学习方法，用于配电网电压调节
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 分布式强化学习 配电网电压调节 智能电表 动态戴维南等效模型 电压校正 协调策略
📋 核心要点
- 集中式强化学习电压调节方法计算开销大，且存在数据隐私泄露风险，难以满足实际需求。
- 利用智能电表数据，结合动态戴维南等效模型和电压校正策略，实现本地化强化学习训练。
- 通过协调策略优化本地智能体动作，避免电压越限，实验验证了该方法在电压调节方面的有效性。
📝 摘要（中文）
本文提出了一种分布式强化学习算法，用于配电网中的电压调节。传统的集中式强化学习方法需要大量的智能体-环境交互和潮流计算，导致计算开销和数据隐私问题。本文方法首先将动态戴维南等效模型集成到智能电表中，利用本地智能电表数据进行本地电压估计，用于强化学习智能体的训练，从而避免了同步数据收集和集中式潮流计算的依赖。为了减轻戴维南模型不准确带来的估计误差，本文提出了一种结合分段函数和神经网络的电压校正策略。分段函数校正电压估计中的较大误差，而神经网络模拟电网对控制动作的敏感性，提高动作调整的精度。其次，本文提出了一种协调策略，用于在线优化本地强化学习智能体的动作，防止多个独立训练的智能体过度动作导致的电压越限。在储能系统上的案例研究验证了该方法的可行性和有效性，证明了其在改善配电网电压调节方面的潜力。
🔬 方法详解
问题定义：配电网电压调节是电力系统稳定运行的关键。传统的集中式强化学习方法依赖于大量的全局数据和复杂的潮流计算，导致计算负担重，通信成本高，并且存在数据隐私泄露的风险。现有方法难以在实际配电网中部署应用。
核心思路：本文的核心思路是将强化学习的决策过程分散到各个智能电表端，利用本地数据进行训练和决策，从而避免了对全局数据的依赖。通过动态戴维南等效模型和电压校正策略，提高本地电压估计的准确性。同时，设计协调策略，解决多个独立智能体动作冲突的问题。
技术框架：该方法主要包含三个模块：1) 基于动态戴维南等效模型的本地电压估计模块；2) 基于分段函数和神经网络的电压校正模块；3) 用于协调本地智能体动作的协调策略模块。整体流程为：首先，利用本地智能电表数据和动态戴维南等效模型估计本地电压。然后，使用电压校正模块修正估计误差。接着，本地强化学习智能体基于修正后的电压信息进行决策。最后，通过协调策略对本地智能体的动作进行优化，并将优化后的动作发送给执行机构。
关键创新：该方法最重要的技术创新点在于将集中式强化学习算法分解为多个分布式的本地强化学习智能体，每个智能体仅依赖本地数据进行训练和决策。这种分布式架构降低了计算复杂度和通信成本，提高了系统的可扩展性和鲁棒性。此外，电压校正模块和协调策略也有效地提高了电压调节的精度和稳定性。
关键设计：动态戴维南等效模型的参数更新频率未知，需要根据实际电网情况进行调整。电压校正模块中的分段函数和神经网络的结构需要根据电压估计误差的分布进行设计。协调策略的具体实现方式（例如，基于投票机制或博弈论）需要根据智能体的数量和动作空间的大小进行选择。强化学习智能体的奖励函数需要仔细设计，以平衡电压调节的精度和稳定性。
🖼️ 关键图片
📊 实验亮点
案例研究表明，该方法能够有效地调节配电网电压，降低电压越限的概率。与传统的集中式强化学习方法相比，该方法在计算效率和数据隐私保护方面具有显著优势。具体的性能提升数据未知，需要在实验部分进一步补充。
🎯 应用场景
该研究成果可应用于智能配电网的电压调节，提高电网运行的稳定性和可靠性。通过利用智能电表数据，实现本地化的电压控制，降低对中心控制器的依赖，提高系统的响应速度和灵活性。该方法还可扩展到其他电力系统控制问题，例如无功功率优化和分布式电源协调控制，具有广阔的应用前景。
📄 摘要（原文）
Centralised reinforcement learning (RL) for voltage magnitude regulation in distribution networks typically involves numerous agent-environment interactions and power flow (PF) calculations, inducing computational overhead and privacy concerns over shared data. Thus, we propose a distributed RL algorithm to regulate voltage magnitude. First, a dynamic Thevenin equivalent model is integrated within smart meters (SM), enabling local voltage magnitude estimation using local SM data for RL agent training, and mitigating the dependency of synchronised data collection and centralised PF calculations. To mitigate estimation errors induced by Thevenin model inaccuracies, a voltage magnitude correction strategy that combines piecewise functions and neural networks is introduced. The piecewise function corrects the large errors of estimated voltage magnitude, while a neural network mimics the grid's sensitivity to control actions, improving action adjustment precision. Second, a coordination strategy is proposed to refine local RL agent actions online, preventing voltage magnitude violations induced by excessive actions from multiple independently trained agents. Case studies on energy storage systems validate the feasibility and effectiveness of the proposed approach, demonstrating its potential to improve voltage regulation in distribution networks.