Real-World Implementation of Reinforcement Learning Based Energy Coordination for a Cluster of Households
作者: Gargya Gokhale, Niels Tiben, Marie-Sophie Verwee, Manu Lahariya, Bert Claessens, Chris Develder
分类: eess.SY, cs.LG
发布日期: 2023-10-29
备注: 8 pages, 2 figures, workshop article accepted at RLEM'23 (BuildSys'23)
💡 一句话要点
提出基于强化学习的能量协调方法以支持住宅群体的电力管理
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 能源协调 住宅建筑 电力管理 智能电网 数据驱动 可持续能源
📋 核心要点
- 现有研究主要集中在单个建筑的能源管理，缺乏对多个住宅建筑的聚合控制方法。
- 本研究提出了一种基于强化学习的协调策略，利用观察数据实现住宅建筑的电力消耗管理。
- 在4周的案例研究中，展示了良好的电力追踪效果和数据驱动的强化学习排名系统的有效性。
📝 摘要（中文）
建筑环境在全球能源消耗中占比高达40%，因此其灵活性在现代电网中越来越受到关注。以往研究主要集中于单个建筑的能源管理，而本研究则聚焦于多个住宅建筑的聚合控制，以提供电网支持服务。我们展示了一项真实的试点研究，探讨了强化学习在协调8个住宅建筑电力消耗方面的有效性。该方法仅依赖于个体家庭的观察数据，无需显式的建筑模型或模拟器，便于实施和扩展。通过为期4周的案例研究，我们展示了一个分层控制系统，利用基于强化学习的排名系统选择激活家庭的灵活资产，并通过实时PI控制机制进行电力调度。结果表明，所提方法在电力追踪方面表现良好，且基于数据驱动的强化学习排名系统有效。
🔬 方法详解
问题定义：本论文旨在解决多个住宅建筑在电力管理中的协调问题，现有方法往往依赖于复杂的建筑模型，缺乏灵活性和可扩展性。
核心思路：提出了一种基于强化学习的协调策略，通过分析个体家庭的观察数据，自动调整电力消耗以满足电网需求，避免了对建筑模型的依赖。
技术框架：整体架构包括数据收集、强化学习模型训练、家庭选择机制和实时电力调度。首先收集各家庭的电力使用数据，然后通过强化学习算法生成家庭的排名，最后根据排名选择家庭进行电力调度。
关键创新：该研究的主要创新在于提出了一种完全数据驱动的强化学习方法，能够在没有建筑模型的情况下实现有效的电力协调，与传统方法相比，显著提高了灵活性和可扩展性。
关键设计：在强化学习模型中，采用了基于奖励机制的学习方法，设计了适应性强的损失函数，以确保电力调度的实时性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的强化学习协调策略在电力追踪方面表现出色，成功实现了对目标电力信号的满意追踪。通过数据驱动的强化学习排名系统，选择激活的家庭在电力调度中表现出显著的效果提升，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能电网、住宅能源管理和可再生能源集成等。通过实现住宅建筑的聚合控制，可以有效提升电网的稳定性和灵活性，推动可持续能源的使用，具有重要的实际价值和社会影响。
📄 摘要（原文）
Given its substantial contribution of 40\% to global power consumption, the built environment has received increasing attention to serve as a source of flexibility to assist the modern power grid. In that respect, previous research mainly focused on energy management of individual buildings. In contrast, in this paper, we focus on aggregated control of a set of residential buildings, to provide grid supporting services, that eventually should include ancillary services. In particular, we present a real-life pilot study that studies the effectiveness of reinforcement-learning (RL) in coordinating the power consumption of 8 residential buildings to jointly track a target power signal. Our RL approach relies solely on observed data from individual households and does not require any explicit building models or simulators, making it practical to implement and easy to scale. We show the feasibility of our proposed RL-based coordination strategy in a real-world setting. In a 4-week case study, we demonstrate a hierarchical control system, relying on an RL-based ranking system to select which households to activate flex assets from, and a real-time PI control-based power dispatch mechanism to control the selected assets. Our results demonstrate satisfactory power tracking, and the effectiveness of the RL-based ranks which are learnt in a purely data-driven manner.