Transmission Interface Power Flow Adjustment: A Deep Reinforcement Learning Approach based on Multi-task Attribution Map

📄 arXiv: 2405.15831v1 📥 PDF

作者: Shunyu Liu, Wei Luo, Yanzhen Zhou, Kaixuan Chen, Quan Zhang, Huating Xu, Qinglai Guo, Mingli Song

分类: eess.SY, cs.AI, cs.LG

发布日期: 2024-05-24

备注: Accepted by IEEE Transactions on Power Systems

💡 一句话要点

提出基于多任务归因图的深度强化学习方法，用于输电接口功率潮流联合优化。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 多任务学习 输电接口 功率潮流调整 电力系统 归因图 注意力机制

📋 核心要点

  1. 传统输电接口功率潮流调整方法难以应对电力系统日益增长的变化和不确定性，且忽略了不同接口间的耦合关系。
  2. 提出基于多任务归因图（MAM）的深度强化学习方法，通过学习任务自适应的注意力权重，联合优化多个输电接口。
  3. 在多个电力系统上的实验表明，该方法显著提高了性能，并具有良好的可解释性，能够有效降低运行成本。

📝 摘要（中文）

输电接口功率潮流调整是保障电力系统安全经济运行的关键措施。然而，传统的基于模型的调整方案受到电力系统日益增长的变化和不确定性的限制，并且通常将不同输电接口的调整问题视为独立的任务，忽略了它们之间的耦合关系，甚至导致冲突的决策。本文提出了一种新的数据驱动的深度强化学习（DRL）方法，联合处理多个功率潮流调整任务，而不是从头开始学习每个任务。该方法的核心是多任务归因图（MAM），它使DRL智能体能够使用任务自适应的注意力权重，将每个输电接口任务明确地归因于不同的电力系统节点。基于此MAM，智能体可以进一步提供有效的策略，以接近最优的运行成本解决多任务调整问题。在IEEE 118节点系统、中国实际的300节点系统以及具有9241个节点的超大型欧洲系统上的仿真结果表明，与几种基线方法相比，所提出的方法显著提高了性能，并且通过可学习的MAM表现出很高的可解释性。

🔬 方法详解

问题定义：论文旨在解决电力系统中多个输电接口功率潮流调整的联合优化问题。现有方法通常将每个接口的调整视为独立任务，忽略了它们之间的耦合关系，导致次优甚至冲突的决策。此外，传统的基于模型的调整方案难以适应电力系统日益增长的变化和不确定性，需要更具适应性和鲁棒性的方法。

核心思路：论文的核心思路是利用深度强化学习（DRL）方法，将多个输电接口的功率潮流调整问题建模为一个多任务学习问题。通过引入多任务归因图（MAM），使DRL智能体能够学习不同任务之间的关联性，并根据任务自适应的注意力权重，将每个输电接口任务与不同的电力系统节点相关联。这种方法能够有效地利用任务之间的共享信息，提高学习效率和性能。

技术框架：整体框架包含DRL智能体和电力系统环境。DRL智能体通过与环境交互，学习最优的功率潮流调整策略。环境提供电力系统的状态信息，并根据智能体的动作更新状态。MAM作为DRL智能体的一部分，负责学习任务之间的关联性，并为每个任务生成注意力权重。智能体根据MAM提供的注意力权重，选择合适的动作，以实现多个输电接口的功率潮流调整目标。

关键创新：最重要的技术创新点是多任务归因图（MAM）。MAM能够显式地建模不同输电接口任务与电力系统节点之间的关联性，并学习任务自适应的注意力权重。这使得DRL智能体能够更好地理解不同任务之间的关系，并根据任务的特点选择合适的动作。与传统的单任务学习方法相比，MAM能够显著提高学习效率和性能。

关键设计：MAM的具体实现方式未知，但可以推测其可能采用图神经网络等技术，将电力系统节点作为图的节点，节点之间的连接关系表示电力系统的拓扑结构。注意力权重的学习可能通过自注意力机制实现，使智能体能够根据任务的特点，自动学习不同节点的重要性。损失函数的设计需要考虑多个输电接口的功率潮流调整目标，以及电力系统的安全约束和经济性要求。具体的网络结构和参数设置需要在实际应用中进行调整和优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在IEEE 118节点系统、中国实际的300节点系统以及具有9241个节点的超大型欧洲系统上的仿真结果表明，与几种基线方法相比，所提出的方法显著提高了性能。具体提升幅度未知，但摘要中强调了“显著提高”，表明性能提升较为明显。此外，该方法通过可学习的MAM表现出很高的可解释性，有助于理解DRL智能体的决策过程。

🎯 应用场景

该研究成果可应用于电力系统的运行和控制，提高输电接口功率潮流调整的效率和安全性，降低运行成本。通过联合优化多个输电接口，可以更好地利用电力系统的资源，提高系统的整体性能。此外，该方法还可以扩展到其他电力系统优化问题，如电压控制、无功优化等，具有广阔的应用前景。

📄 摘要（原文）

Transmission interface power flow adjustment is a critical measure to ensure the security and economy operation of power systems. However, conventional model-based adjustment schemes are limited by the increasing variations and uncertainties occur in power systems, where the adjustment problems of different transmission interfaces are often treated as several independent tasks, ignoring their coupling relationship and even leading to conflict decisions. In this paper, we introduce a novel data-driven deep reinforcement learning (DRL) approach, to handle multiple power flow adjustment tasks jointly instead of learning each task from scratch. At the heart of the proposed method is a multi-task attribution map (MAM), which enables the DRL agent to explicitly attribute each transmission interface task to different power system nodes with task-adaptive attention weights. Based on this MAM, the agent can further provide effective strategies to solve the multi-task adjustment problem with a near-optimal operation cost. Simulation results on the IEEE 118-bus system, a realistic 300-bus system in China, and a very large European system with 9241 buses demonstrate that the proposed method significantly improves the performance compared with several baseline methods, and exhibits high interpretability with the learnable MAM.