Reinforcement Learning Based Symbolic Regression for Load Modeling
作者: Ding Lin, Han Guo, Jianhui Wang, Meng Yue, Tianqiao Zhao
分类: eess.SY
发布日期: 2025-03-10
备注: 9pages
💡 一句话要点
提出基于强化学习的符号回归算法，用于动态负载建模，提升精度与可解释性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 强化学习 符号回归 负载建模 动态系统 电力系统
📋 核心要点
- 传统负载建模方法难以兼顾精度、计算效率和可解释性，尤其是在应对动态变化时。
- 提出基于Actor-Critic强化学习的符号回归算法，生成紧凑且可解释的数学表达式，用于动态负载建模。
- 实验结果表明，该方法在精度和计算效率上优于现有基准，为现代电力系统提供更优的解决方案。
📝 摘要（中文）
随着可再生能源渗透率的提高、需求波动性的增长以及电网控制策略的演进，准确高效的负载建模已成为一项关键但具有挑战性的任务。传统的固定形式参数模型和数据驱动方法通常难以平衡精度、计算效率和可解释性。本文提出了一种基于Actor-Critic强化学习框架的新型符号回归算法，专门用于动态负载建模。该算法采用具有可控深度和预定义算子集的可训练表达式树来生成紧凑且可解释的数学表达式。Actor网络概率性地选择符号表达式的算子，而Critic通过损失函数评估生成的表达式树。为了进一步提高性能，实现了一种候选池机制来存储高性能表达式，随后使用梯度下降对其进行微调。通过关注简单性和精度，所提出的方法显著降低了计算复杂度，同时保留了可解释性。实验结果验证了其优于现有基准的性能，为现代电力系统中的动态负载建模和系统分析提供了一种稳健且可扩展的解决方案。
🔬 方法详解
问题定义：论文旨在解决动态负载建模中传统方法精度、效率和可解释性难以兼顾的问题。现有方法，如固定形式参数模型，缺乏灵活性；数据驱动方法，如神经网络，虽然精度高，但计算成本高昂且缺乏可解释性。
核心思路：论文的核心思路是利用强化学习自动搜索最优的数学表达式来描述负载模型。通过符号回归，模型可以自动发现负载与输入变量之间的关系，从而提高模型的精度和可解释性。强化学习框架则用于指导搜索过程，使其能够高效地找到最优解。
技术框架：整体框架基于Actor-Critic强化学习算法。Actor网络负责生成候选的数学表达式，Critic网络负责评估这些表达式的性能。具体流程如下：1) Actor网络根据当前状态（表达式树）选择算子；2) 生成新的表达式树；3) Critic网络评估表达式树的性能（通过损失函数）；4) 根据Critic的评估结果更新Actor网络的策略。此外，还引入了候选池机制，用于存储表现良好的表达式，并使用梯度下降进行微调。
关键创新：最重要的技术创新点在于将强化学习与符号回归相结合，自动搜索最优的负载模型表达式。与传统的符号回归方法相比，该方法能够更有效地探索搜索空间，找到更优的解。与传统的数据驱动方法相比，该方法生成的模型具有更高的可解释性。
关键设计：Actor网络采用概率选择算子的方式，允许模型探索不同的表达式结构。Critic网络使用损失函数来评估表达式的性能，损失函数的设计需要考虑模型的精度和复杂度。候选池机制用于存储表现良好的表达式，并使用梯度下降进行微调，以进一步提高模型的性能。表达式树的深度需要进行控制，以避免生成过于复杂的模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的基于强化学习的符号回归算法在动态负载建模任务中表现出色，优于现有的基准方法。具体而言，该方法在精度上取得了显著提升，同时保持了较低的计算复杂度和较高的可解释性。论文中提供了具体的性能数据，例如均方根误差（RMSE）等指标，并与传统的参数模型和数据驱动模型进行了对比。
🎯 应用场景
该研究成果可应用于现代电力系统的动态负载建模与系统分析。准确的负载模型能够提高电力系统运行的稳定性和可靠性，优化控制策略，并为可再生能源的接入提供支持。此外，该方法还可扩展到其他领域的建模问题，例如金融建模、生物建模等。
📄 摘要（原文）
With the increasing penetration of renewable energy sources, growing demand variability, and evolving grid control strategies, accurate and efficient load modeling has become a critical yet challenging task. Traditional methods, such as fixed-form parametric models and data-driven approaches, often struggle to balance accuracy, computational efficiency, and interpretability. This paper introduces a novel symbolic regression algorithm based on the Actor-Critic reinforcement learning framework, specifically tailored for dynamic load modeling. The algorithm employs a trainable expression tree with controlled depth and a predefined set of operators to generate compact and interpretable mathematical expressions. The Actor network probabilistically selects operators for the symbolic expression, while the Critic evaluates the resulting expression tree through a loss function. To further enhance performance, a candidate pool mechanism is implemented to store high-performing expressions, which are subsequently fine-tuned using gradient descent. By focusing on simplicity and precision, the proposed method significantly reduces computational complexity while preserving interpretability. Experimental results validate its superior performance compared to existing benchmarks, which offers a robust and scalable solution for dynamic load modeling and system analysis in modern power systems.