Explainable Data-driven Deep Reinforcement Learning Methods for Optimal Energy Management in Buildings
作者: Hallah Shahid Butt, Qiong Huang, Gökhan Demirel, Kevin Förderer, Erfan Tajalli-Ardekani, Simnon Waczowicz, Luigi Spatafora, Veit Hagenmeyer, Benjamin Schäfer
分类: cs.AI
发布日期: 2026-06-01
💡 一句话要点
提出可解释深度强化学习框架，优化建筑能源管理并提升用户信任
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 可解释深度强化学习 能源管理 智能建筑 光伏发电 储能系统
📋 核心要点
- 深度强化学习在建筑能源管理中应用受限，主要原因是其黑盒特性导致用户难以信任其决策。
- 论文提出可解释深度强化学习（XRL）框架，通过事后解释技术揭示DRL代理的决策过程，增强透明度。
- 实验表明，XRL框架在降低电力成本的同时，提供了对代理决策过程的可操作性见解，提升了用户信任。
📝 摘要（中文）
随着可再生能源日益融入电力系统，尤其是在配备光伏面板和储能系统的建筑中，能源系统变得异常复杂。不稳定的发电、变化的电价以及光伏系统和热泵等实体的增加，都增加了系统的复杂性，使其更难运行。这导致了对额外控制和优化途径的需求，包括基于数据的控制，如强化学习。虽然深度强化学习（DRL）已成为优化动态和日益复杂的环境中建筑运营的有希望的解决方案，但其黑盒性质阻碍了用户的信任和实际应用。本文提出了一个可解释的深度强化学习（XRL）框架，应用于住宅建筑的能源管理。我们在合成数据以及KIT的Living Lab Energy Campus（LLEC）的真实数据上展示了它的用法。我们在扩展的状态空间上训练和比较了on-policy和off-policy DRL代理，该状态空间包含实时测量（需求、光伏发电、电池功率、充电状态）、外部信号（动态电价、当地天气数据）、日历和假日指标以及需求和价格的预测。我们的实验结果表明，on-policy算法，特别是Advantage Actor Critic（A2C）和Proximal Policy Optimization（PPO），在累积奖励和策略稳定性方面优于off-policy方法。为了解释这些模型，我们采用事后解释技术来详细说明学习到的控制策略。我们的研究结果表明，XRL框架不仅通过最佳电池管理降低了电力成本，而且还提供了对代理决策过程的透明、可操作的见解。
🔬 方法详解
问题定义：论文旨在解决建筑能源管理中，深度强化学习方法因其黑盒特性而难以被用户信任和实际应用的问题。现有方法缺乏透明度，用户无法理解智能体的决策依据，从而限制了DRL在实际场景中的部署。
核心思路：论文的核心思路是利用可解释人工智能（XAI）技术，特别是事后解释方法，来揭示深度强化学习智能体的决策过程。通过分析智能体的行为，提取关键特征和规则，使用户能够理解智能体为何做出特定决策，从而增强信任感。
技术框架：该框架包含以下主要模块：1) 环境建模：构建建筑能源管理系统模型，包括光伏发电、储能系统、电网交互等；2) 深度强化学习智能体训练：使用on-policy和off-policy算法训练智能体，使其能够优化能源使用策略；3) 事后解释：应用LIME等解释方法，分析智能体的决策过程，提取关键特征和规则；4) 结果评估：评估智能体的性能和解释结果的质量。
关键创新：论文的关键创新在于将可解释人工智能技术与深度强化学习相结合，构建了一个可解释的深度强化学习框架，用于建筑能源管理。该框架不仅能够优化能源使用，还能够提供对智能体决策过程的透明解释，从而增强用户信任。
关键设计：论文采用了Advantage Actor Critic (A2C) 和 Proximal Policy Optimization (PPO) 等on-policy算法，并与off-policy算法进行比较。状态空间包含实时测量（需求、光伏发电、电池功率、充电状态）、外部信号（动态电价、当地天气数据）、日历和假日指标以及需求和价格的预测。使用LIME等方法进行事后解释，分析智能体的决策过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，on-policy算法（A2C和PPO）在累积奖励和策略稳定性方面优于off-policy方法。通过XRL框架，不仅降低了电力成本，还提供了对智能体决策过程的透明、可操作的见解。在真实数据集上的验证，证明了该框架在实际应用中的有效性。
🎯 应用场景
该研究成果可应用于智能建筑、智慧城市等领域，帮助用户更好地管理和优化能源使用，降低能源成本，提高能源利用效率。通过提供可解释的决策过程，增强用户对智能系统的信任，促进智能能源技术的广泛应用。未来可扩展到其他复杂系统的优化控制，例如智能交通、工业自动化等。
📄 摘要（原文）
The increasing integration of renewable energy sources into power systems, particularly in buildings equipped with photovoltaic (PV) panels and energy storage systems, introduces significant complexity in energy systems. Volatile power generation, varying electricity tariffs, and increased entities, e.g., PV systems, and heat pumps, have increased the complexity and made the system harder to operate. This leads to the demand for additional control and optimization routes including data-based controls, such as reinforcement learning. While deep reinforcement learning (DRL) has emerged as a promising solution to optimize building operations in dynamic and ever more complex environments, its black-box nature impedes user trust and practical adoption. This paper presents a framework for explainable deep reinforcement learning (XRL) applied to energy management in residential buildings. We demonstrate its usage on both synthetic data but also on real-world data from the Living Lab Energy Campus (LLEC) at KIT. We train and compare both on-policy and off-policy DRL agents on an expanded state space that incorporates real-time measurements (demand, PV generation, battery power, state of charge), external signals (dynamic electricity price, local weather data), calendrical and holiday indicators, and forecasts for demand and price. Our experimental results indicate that on-policy algorithms, particularly Advantage Actor Critic (A2C) and Proximal Policy Optimization (PPO), outperform off-policy methods in terms of cumulative rewards and policy stability. To explain these models, we employ post-hoc interpretation techniques to elaborate the learned control policies. Our findings demonstrate that the XRL framework not only reduces electricity costs through optimal battery management, but also provides transparent, actionable insights into the agent's decision-making process.