Cooperative Energy Scheduling of Multi-Microgrids Based on Risk-Sensitive Reinforcement Learning

📄 arXiv: 2512.17246v1 📥 PDF

作者: Rongxiang Zhang, Bo Li, Jinghua Li, Yuguang Song, Ziqing Zhu, Wentao Yang, Zhengmao Li, Edris Pouresmaeil, Joshua Y. Kim

分类: eess.SY

发布日期: 2025-12-19

💡 一句话要点

提出风险敏感强化学习框架以优化多微电网调度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多微电网 风险敏感强化学习 共享记忆 调度优化 可再生能源 去中心化决策 信用分配 分布式能源

📋 核心要点

  1. 现有方法未能明确量化个体与联合风险值之间的关系，导致信用分配模糊，且依赖显式通信在复杂系统中效率低下。
  2. 提出了一种基于共享记忆的风险敏感强化学习框架（RRL-SM），通过风险敏感值因子分解方案量化风险关系，提升局部与全球目标一致性。
  3. 仿真结果显示，RRL-SM将负荷削减风险降低了84.5%，在可靠性和经济性能之间取得了良好平衡。

📝 摘要（中文）

随着分布式可再生能源的快速发展，多微电网在提高能源供应灵活性和可靠性方面发挥着越来越重要的作用。强化学习因其无模型特性在协调策略中展现出巨大潜力。然而，现有方法缺乏对个体与联合风险值关系的明确量化，导致信用分配模糊。此外，现有方法通常依赖显式通信，随着系统复杂性的增加，这种方式变得低效。为了解决这些挑战，本文提出了一种基于共享记忆的风险敏感强化学习框架（RRL-SM）用于多微电网调度。通过利用分布建模和基于注意力的表示，提出了一种风险敏感值因子分解方案，从而量化个体与联合风险值之间的关系，确保局部决策与全球风险目标的一致性。通过全球记忆空间实现隐式共享记忆协调机制，增强了去中心化决策的整体效率。综合来看，该方法在可再生能源不确定性下提供了更可靠的合作调度。仿真结果表明，RRL-SM将负荷削减风险降低了84.5%，在可靠性与经济性能之间实现了良好的平衡。

🔬 方法详解

问题定义：本文旨在解决多微电网调度中的个体与联合风险值量化不足及显式通信效率低下的问题。现有方法在复杂系统中难以有效协调，导致调度效率低下。

核心思路：提出的RRL-SM框架通过共享记忆和风险敏感值因子分解，量化个体与联合风险值的关系，确保局部决策与全局目标一致，从而提高调度效率和可靠性。

技术框架：该框架包括风险敏感值因子分解模块、共享记忆协调机制和强化学习决策模块。通过全球记忆空间实现信息共享，增强去中心化决策的效率。

关键创新：最重要的创新点在于引入风险敏感值因子分解方案和隐式共享记忆机制，这与现有方法的显式通信方式形成鲜明对比，显著提升了调度的灵活性和效率。

关键设计：在技术细节上，采用了基于注意力的表示方法来建模风险值，并设计了适应性损失函数以优化局部与全局决策之间的协调。

📊 实验亮点

实验结果表明，RRL-SM框架在负荷削减风险方面表现出色，降低了84.5%的风险，相较于传统方法显著提升了调度的可靠性与经济性能，展示了其在复杂系统中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能电网、可再生能源管理和分布式能源系统调度。通过优化多微电网的调度策略，可以提高能源供应的可靠性和经济性，推动可再生能源的广泛应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

With the rapid development of distributed renewable energy, multi-microgrids play an increasingly important role in improving the flexibility and reliability of energy supply. Reinforcement learning has shown great potential in coordination strategies due to its model-free nature. Current methods lack explicit quantification of the relationship between individual and joint risk values, resulting in obscured credit assignment. Moreover, they often depend on explicit communication, which becomes inefficient as system complexity grows. To address these challenges, this paper proposes a risk-sensitive reinforcement learning framework with shared memory (RRL-SM) for multi-microgrid scheduling. Specifically, a risk-sensitive value factorization scheme is proposed to quantify the relationship between individual and joint risk values by leveraging distributional modeling and attention-based representations, thereby aligning local decisions with global risk objectives. An implicit shared-memory coordination mechanism is implemented through a global memory space to enhance the overall efficiency of decentralized decision-making. Collectively, the integrated approach delivers more reliable cooperative scheduling under renewable energy uncertainty. Simulation results show that RRL-SM reduces load-shedding risk by 84.5%, demonstrating a favorable balance between reliability and economic performance.