Deep Reinforcement Learning for Optimizing Inverter Control: Fixed and Adaptive Gain Tuning Strategies for Power System Stability

📄 arXiv: 2411.01451v1 📥 PDF

作者: Shuvangkar Chandra Das, Tuyen Vu, Deepak Ramasubramanian, Evangelos Farantatos, Jianhua Zhang, Thomas Ortmeyer

分类: eess.SY

发布日期: 2024-11-03

💡 一句话要点

提出基于深度强化学习的逆变器控制增益优化方法，提升电力系统稳定性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 逆变器控制 电力系统稳定性 增益整定 自适应控制

📋 核心要点

  1. 电力系统中逆变器控制器的传统增益整定方法难以应对复杂动态环境，需要更智能的自适应调整策略。
  2. 利用深度强化学习，将逆变器控制问题建模为马尔可夫决策过程，通过训练智能体自动优化控制器增益。
  3. 实验结果表明，该方法能够有效抑制次同步振荡和改善瞬态响应，提升电力系统的稳定性和鲁棒性。

📝 摘要（中文）

本文提出了一种利用深度强化学习（DRL）优化逆变器控制器增益的新方法。通过将Simulink开发的逆变器模型转换为动态链接库（DLL），并将其集成到基于Python的RL环境中，利用多核部署和加速计算显著缩短了RL训练时间。开发了一种基于神经网络的机制，将级联PI控制器转换为Actor网络，从而允许RL智能体通过优化增益来缓解次同步振荡（SSO）和初始瞬态等问题。论文展示了两种不同的调整方法：固定增益策略（控制器增益表示为RL策略的权重）和自适应增益策略（增益动态生成为RL策略的输出）。对这些方法进行了比较分析，展示了它们在稳定并网型和离网型变流器的瞬态性能方面的有效性，以及在硬件部署中的挑战。实验结果表明，RL调谐的控制器增益在实际系统中具有更强的鲁棒性和实用性。

🔬 方法详解

问题定义：电力系统中，逆变器作为连接可再生能源的关键接口，其控制器的增益整定对系统的稳定性和性能至关重要。传统的PI控制器增益整定方法，如试错法或基于模型的优化，难以适应电力系统运行状态的快速变化，尤其是在存在次同步振荡（SSO）或初始瞬态等问题时，可能导致系统不稳定。现有方法缺乏自适应性和鲁棒性，难以在实际应用中取得理想效果。

核心思路：本文的核心思路是将逆变器控制器的增益整定问题转化为一个强化学习问题。通过训练一个智能体（Agent），使其能够根据电力系统的状态，动态地调整逆变器控制器的增益，从而优化系统的性能。这种方法的核心在于利用深度强化学习的强大函数逼近能力，学习一个能够适应各种运行条件的增益调整策略。

技术框架：整体框架包括三个主要部分：Simulink逆变器模型、Python强化学习环境和神经网络控制器。首先，在Simulink中建立逆变器模型，并将其编译为动态链接库（DLL），以便在Python环境中调用。然后，构建一个基于Python的强化学习环境，该环境与Simulink模型进行交互，获取系统的状态信息，并执行智能体的动作（即调整控制器增益）。最后，使用神经网络作为Actor网络，用于学习最优的增益调整策略。

关键创新：本文的关键创新在于将传统的级联PI控制器与深度强化学习相结合，提出了两种不同的增益调整策略：固定增益策略和自适应增益策略。固定增益策略将控制器增益表示为RL策略的权重，通过优化权重来获得最佳增益组合。自适应增益策略则将增益作为RL策略的输出，根据系统状态动态调整增益。这种方法能够更好地适应电力系统运行状态的变化，提高系统的稳定性和鲁棒性。

关键设计：在固定增益策略中，Actor网络的输出直接对应于PI控制器的增益值。在自适应增益策略中，Actor网络的输出经过一个缩放函数，将其映射到合理的增益范围内。损失函数的设计目标是最小化系统的瞬态响应误差和抑制次同步振荡。网络结构的选择需要考虑计算复杂度和性能之间的平衡。具体参数设置（如学习率、折扣因子、探索率等）需要根据实际情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出的基于深度强化学习的逆变器控制增益优化方法的有效性。实验结果表明，与传统的固定增益控制方法相比，该方法能够显著改善系统的瞬态响应，有效抑制次同步振荡，并提高系统的鲁棒性。具体性能提升数据未知，但论文强调了RL调谐的控制器增益在实际系统中具有更强的鲁棒性和实用性。

🎯 应用场景

该研究成果可应用于智能电网、微电网等电力系统中，用于优化逆变器的控制性能，提高电力系统的稳定性和可靠性。通过自适应调整控制器增益，可以有效抑制次同步振荡、改善瞬态响应，从而提高可再生能源的利用率，降低系统运行成本，并为电力系统的智能化发展提供技术支撑。

📄 摘要（原文）

This paper presents novel methods for tuning inverter controller gains using deep reinforcement learning (DRL). A Simulink-developed inverter model is converted into a dynamic link library (DLL) and integrated with a Python-based RL environment, leveraging the multi-core deployment and accelerated computing to significantly reduce RL training time. A neural network-based mechanism is developed to transform the cascaded PI controller into an actor network, allowing optimized gain tuning by an RL agent to mitigate scenarios such as subsynchronous oscillations (SSO) and initial transients. Two distinct tuning approaches are demonstrated: a fixed gain strategy, where controller gains are represented as RL policy (actor network) weights, and an adaptive gain strategy, where gains are dynamically generated as RL policy (actor network) outputs. A comparative analysis of these methods is provided, showcasing their effectiveness in stabilizing the transient performance of grid-forming and grid-following converters and deployment challenges in hardware. Experimental results are presented, demonstrating the enhanced robustness and practical applicability of the RL-tuned controller gains in real-world systems.