Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination

📄 arXiv: 2607.12763v1 📥 PDF

作者: Usman Haider, Karl Mason

分类: cs.LG, cs.AI

发布日期: 2026-07-14

💡 一句话要点

提出约束感知聚合方法以解决微电网能量协调问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦强化学习 微电网 能量协调 约束感知 聚合方法 安全性 奖励优化

📋 核心要点

  1. 现有的联邦强化学习方法未能考虑系统级约束，导致全局行为不安全。
  2. 本文提出了一种约束感知的聚合规则，将本地性能与约束违反估计结合，优化服务器端更新。
  3. 实验结果显示，基于惩罚的聚合方法在多个环境中显著降低了约束违反，同时提升了奖励表现。

📝 摘要（中文）

联邦强化学习（FedRL）能够在不共享原始本地数据的情况下协调分布式能源资源，但标准聚合方法如FedAvg未考虑系统级约束，可能导致不安全的全局行为。本文研究了在分布式能源协调中应用约束感知聚合的方法，提出了将本地性能和估计的约束违反纳入服务器端更新的聚合规则。其中，基于惩罚的简单规则$w_i extpropto R_i - αV_i$在奖励与安全之间提供了可靠的权衡，无需双重优化或对本地训练进行修改。我们在DairyGridEnv基准上评估了该方法，模拟多个农场在随机需求和共享电网容量约束下协调电池存储，并使用芬兰和德国FIELD数据集的真实负载驱动需求配置进一步评估了鲁棒性。实验结果表明，基于惩罚的聚合在合成和真实负载驱动环境中显著减少了违反约束的情况，同时相较于FedAvg提高了奖励。

🔬 方法详解

问题定义：本文旨在解决联邦强化学习中标准聚合方法未考虑系统级约束的问题，导致全局行为可能不安全。现有方法如FedAvg在聚合时忽略了本地约束，无法有效协调分布式能源资源。

核心思路：论文提出了一种新的聚合方法，结合本地性能和约束违反的估计，优化服务器端的更新过程。通过引入基于惩罚的规则，能够在奖励与安全之间实现更好的权衡。

技术框架：整体架构包括本地训练、约束估计和服务器聚合三个主要模块。在本地训练阶段，各个代理独立进行强化学习；在约束估计阶段，评估本地策略的约束违反情况；在服务器聚合阶段，应用新的聚合规则更新全局模型。

关键创新：最重要的技术创新在于提出了基于惩罚的聚合规则$w_i extpropto R_i - αV_i$，该方法无需双重优化或对本地训练进行修改，能够有效提高安全性和奖励表现。

关键设计：在聚合过程中，设计了惩罚因子α和权重w_i的计算方式，确保聚合时能够平衡奖励与约束违反的影响。此外，实验中使用了DairyGridEnv基准和真实负载数据，验证了方法的有效性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于惩罚的聚合方法在多个种子下显著减少了约束违反，同时在合成和真实负载驱动环境中相较于FedAvg提高了奖励表现，展示了该方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括微电网管理、智能电网和可再生能源协调等。通过提高分布式能源资源的协调效率和安全性，能够为未来的能源系统提供更可靠的解决方案，促进可持续发展。

📄 摘要（原文）

Federated Reinforcement Learning (FedRL) enables coordination of distributed energy resources without sharing raw local data, but standard aggregation methods such as FedAvg do not account for system-level constraints, often leading to unsafe global behavior. In this work, we study constraint-aware aggregation for federated reinforcement learning in distributed energy coordination. We propose aggregation rules that incorporate both local performance and estimated constraint violation into the server-side update. Among these, a simple penalty-based rule, $w_i \propto R_i - αV_i$, consistently provides the most reliable trade-off between reward and safety, without requiring dual optimization or modifications to local training. \textcolor{black}{We evaluate our approach on DairyGridEnv, a benchmark modeling multiple farms coordinating battery storage under stochastic demand and a shared grid capacity constraint, and further assess robustness using real load-driven demand profiles from Finland and the German FIELD dataset. Across multiple seeds, penalty-based aggregation substantially reduces violations while improving reward relative to FedAvg in both synthetic and real load-driven settings.} A combined reward-violation scheme exposes a tunable trade-off via $λ$, but is less stable. These results demonstrate that lightweight aggregation strategies can substantially improve empirical safety in federated reinforcement learning while preserving standard communication protocols.