Toward Adaptive Grid Resilience: A Gradient-Free Meta-RL Framework for Critical Load Restoration

📄 arXiv: 2601.10973v1 📥 PDF

作者: Zain ul Abdeen, Waris Gill, Ming Jin

分类: cs.LG, eess.SY

发布日期: 2026-01-16

💡 一句话要点

提出基于无梯度元强化学习的自适应电网恢复框架，提升关键负荷恢复能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 配电网恢复 元强化学习 无梯度优化 自适应控制 智能电网 弹性电网 可再生能源 进化策略

📋 核心要点

  1. 现有强化学习方法在配电网负荷恢复中泛化性差，需要大量针对新场景的重新训练，难以适应实际应用。
  2. 论文提出一种元引导的无梯度强化学习框架，通过元学习获得可迁移的初始化策略，并使用进化策略进行快速适应。
  3. 实验结果表明，该方法在可靠性、恢复速度和适应效率方面优于传统强化学习和模型预测控制，且泛化能力更强。

📝 摘要（中文）

在极端事件后恢复关键负荷需要自适应控制以维持配电网的弹性，然而可再生能源发电的不确定性、有限的可调度资源以及非线性动态使得有效的恢复变得困难。强化学习(RL)可以在不确定性下优化序列决策，但标准RL泛化能力差，需要大量重新训练以适应新的中断配置或发电模式。我们提出了一种元引导的无梯度RL(MGF-RL)框架，该框架从历史中断经验中学习可迁移的初始化，并通过最少的特定任务调整快速适应未见过的场景。MGF-RL将一阶元学习与进化策略相结合，实现了无需梯度计算的可扩展策略搜索，同时适应非线性、受约束的配电系统动态。在IEEE 13节点和IEEE 123节点测试系统上的实验表明，在可再生能源预测误差下，MGF-RL在可靠性、恢复速度和适应效率方面优于标准RL、基于MAML的元RL和模型预测控制。MGF-RL可以推广到未见过的中断和可再生能源模式，同时比传统RL需要更少的微调次数。我们还提供了次线性遗憾界限，将适应效率与任务相似性和环境变化联系起来，支持了经验增益，并推动了MGF-RL在富含可再生能源的配电网中进行实时负荷恢复。

🔬 方法详解

问题定义：论文旨在解决配电网在极端事件后关键负荷的快速自适应恢复问题。现有强化学习方法在面对新的中断配置或可再生能源发电模式时，需要大量的重新训练，泛化能力不足，难以满足实时恢复的需求。此外，配电网的非线性动态和约束也增加了优化难度。

核心思路：论文的核心思路是利用元学习的思想，从历史中断经验中学习一个良好的初始化策略，使其能够快速适应新的、未见过的场景。同时，采用无梯度优化方法（进化策略）来避免复杂的梯度计算，提高算法的效率和鲁棒性。

技术框架：MGF-RL框架主要包含两个阶段：元学习阶段和适应阶段。在元学习阶段，算法利用历史中断数据学习一个通用的初始化策略。在适应阶段，算法使用进化策略对初始化策略进行微调，以适应当前特定的中断场景。整体流程是，首先从历史数据中采样多个任务（不同的中断配置和可再生能源发电模式），然后使用进化策略在这些任务上训练初始化策略。在适应阶段，对于新的中断场景，使用进化策略对初始化策略进行少量迭代的微调。

关键创新：论文的关键创新在于将元学习与无梯度优化方法相结合，提出了一种高效的自适应配电网恢复框架。与传统的基于梯度的元学习方法相比，无梯度优化方法避免了复杂的梯度计算，更适合于处理非线性、受约束的配电系统动态。此外，论文还提供了次线性遗憾界限，从理论上分析了算法的适应效率与任务相似性和环境变化之间的关系。

关键设计：论文使用一阶元学习算法，降低了计算复杂度。进化策略采用协方差矩阵自适应进化策略（CMA-ES），能够有效地探索策略空间。损失函数的设计考虑了可靠性、恢复速度和控制成本等多个因素。具体而言，损失函数包括未恢复负荷的惩罚项、恢复时间的惩罚项和控制动作的惩罚项。此外，论文还对控制动作进行了约束，以保证配电网的安全运行。

📊 实验亮点

实验结果表明，MGF-RL在IEEE 13节点和IEEE 123节点测试系统上，在可靠性、恢复速度和适应效率方面均优于标准RL、基于MAML的元RL和模型预测控制。例如，在IEEE 123节点系统中，MGF-RL的恢复速度比标准RL提高了约20%，且需要的微调次数显著减少。此外，MGF-RL能够很好地泛化到未见过的中断和可再生能源模式，证明了其良好的适应能力。

🎯 应用场景

该研究成果可应用于智能电网的灾后恢复，提高电网的弹性和可靠性。通过快速恢复关键负荷，减少停电带来的经济损失和社会影响。尤其是在可再生能源渗透率较高的配电网中，该方法能够有效应对可再生能源发电的不确定性，保障电网的安全稳定运行。未来，该方法可以进一步扩展到其他类型的电力系统，例如微电网和主动配电网。

📄 摘要（原文）

Restoring critical loads after extreme events demands adaptive control to maintain distribution-grid resilience, yet uncertainty in renewable generation, limited dispatchable resources, and nonlinear dynamics make effective restoration difficult. Reinforcement learning (RL) can optimize sequential decisions under uncertainty, but standard RL often generalizes poorly and requires extensive retraining for new outage configurations or generation patterns. We propose a meta-guided gradient-free RL (MGF-RL) framework that learns a transferable initialization from historical outage experiences and rapidly adapts to unseen scenarios with minimal task-specific tuning. MGF-RL couples first-order meta-learning with evolutionary strategies, enabling scalable policy search without gradient computation while accommodating nonlinear, constrained distribution-system dynamics. Experiments on IEEE 13-bus and IEEE 123-bus test systems show that MGF-RL outperforms standard RL, MAML-based meta-RL, and model predictive control across reliability, restoration speed, and adaptation efficiency under renewable forecast errors. MGF-RL generalizes to unseen outages and renewable patterns while requiring substantially fewer fine-tuning episodes than conventional RL. We also provide sublinear regret bounds that relate adaptation efficiency to task similarity and environmental variation, supporting the empirical gains and motivating MGF-RL for real-time load restoration in renewable-rich distribution grids.