A Deep Reinforcement Learning Method for Multi-objective Transmission Switching

📄 arXiv: 2507.11726v1 📥 PDF

作者: Ding Lin, Jianhui Wang, Tianqiao Zhao, Meng Yue

分类: eess.SY

发布日期: 2025-07-15

备注: 5 pages

💡 一句话要点

提出基于深度强化学习的多目标输电网络开关方法，兼顾成本与可靠性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 输电网络开关 多目标优化 电力系统 Dueling Actor-Critic

📋 核心要点

  1. 传统输电网络开关侧重于降低成本，忽略了系统可靠性，多目标优化面临计算复杂性挑战。
  2. 采用深度强化学习，结合Dueling Actor-Critic框架，评估线路开关决策对成本和可靠性的影响。
  3. 在IEEE 118节点系统上的实验表明，该方法在成本和可靠性方面优于基准DRL算法。

📝 摘要（中文）

输电网络开关是一种通过策略性网络重构来最小化运营成本的常用方法。然而，单纯关注成本降低可能会损害系统可靠性。多目标输电网络开关可以在成本节约和可靠性提升之间取得平衡，但随着系统规模的增长，由于固有的非线性和高计算需求，获得可行解变得极其困难。本文提出了一种用于多目标输电网络开关的深度强化学习（DRL）方法。该方法采用基于Dueling的Actor-Critic框架来评估动作空间中每个线路开关决策的相对影响，从而提高决策质量，并增强系统可靠性和成本效率。在IEEE 118节点系统上的数值研究验证了所提出方法相对于两种基准DRL算法的有效性和效率。

🔬 方法详解

问题定义：输电网络开关旨在通过调整线路的开关状态来优化电力系统的运行，传统方法往往只关注降低运营成本，而忽略了系统可靠性。多目标优化虽然可以兼顾成本和可靠性，但随着网络规模增大，求解空间呈指数级增长，导致计算复杂度过高，难以在实际应用中找到最优解。现有方法难以在高维、非线性的输电网络中实现成本和可靠性的有效平衡。

核心思路：本文的核心思路是利用深度强化学习（DRL）算法来解决多目标输电网络开关问题。DRL能够通过与环境的交互学习最优策略，无需精确的数学模型，从而有效应对输电网络的高度非线性和复杂性。通过设计合适的奖励函数，引导智能体在降低成本的同时，提升系统可靠性。

技术框架：该方法采用Actor-Critic框架，其中Actor负责生成动作（线路开关决策），Critic负责评估动作的价值。具体流程如下：1) 智能体观察当前电力系统的状态（例如，节点电压、线路潮流等）；2) Actor根据当前状态生成一个动作；3) 环境执行该动作，并返回新的状态和奖励；4) Critic评估该动作的价值，并更新Actor和Critic的网络参数；5) 重复以上步骤，直到智能体学习到最优策略。

关键创新：该方法的关键创新在于采用了Dueling Actor-Critic结构。Dueling网络能够将状态价值和动作优势函数分离，从而更准确地评估每个动作的价值。通过评估每个线路开关决策的相对影响，可以提高决策质量，并增强系统可靠性和成本效率。此外，该方法还设计了合适的奖励函数，以平衡成本节约和可靠性提升。

关键设计：Actor和Critic均采用深度神经网络，输入为电力系统的状态信息，输出为动作的概率分布（Actor）或动作的价值（Critic）。奖励函数的设计至关重要，需要综合考虑运营成本、线路潮流、电压稳定性和系统安全性等因素。具体参数设置（如学习率、折扣因子、探索率等）需要根据实际问题进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在IEEE 118节点系统上的实验结果表明，所提出的基于Dueling Actor-Critic的DRL方法在成本和可靠性方面均优于两种基准DRL算法。具体而言，该方法在降低运营成本的同时，显著提高了系统的电压稳定性和线路潮流裕度，验证了其有效性和优越性。

🎯 应用场景

该研究成果可应用于智能电网的优化运行和控制，通过实时调整输电线路的开关状态，降低运营成本，提高供电可靠性，并增强电网应对突发事件的能力。该方法还可扩展到其他电力系统优化问题，如电压控制、无功优化等，具有广阔的应用前景。

📄 摘要（原文）

Transmission switching is a well-established approach primarily applied to minimize operational costs through strategic network reconfiguration. However, exclusive focus on cost reduction can compromise system reliability. While multi-objective transmission switching can balance cost savings with reliability improvements, feasible solutions become exceedingly difficult to obtain as system scale grows, due to the inherent nonlinearity and high computational demands involved. This paper proposes a deep reinforcement learning (DRL) method for multi-objective transmission switching. The method incorporates a dueling-based actor-critic framework to evaluate the relative impact of each line switching decision within the action space, which improves decision quality and enhances both system reliability and cost efficiency. Numerical studies on the IEEE 118-bus system verify the effectiveness and efficiency of the proposed approach compared to two benchmark DRL algorithms.