Deep reinforcement learning-based joint real-time energy scheduling for green buildings with heterogeneous battery energy storage devices

📄 arXiv: 2506.06824v2 📥 PDF

作者: Chi Liu, Zhezhuang Xu, Jiawei Zhou, Yazhou Yuan, Kai Ma, Meng Yuan

分类: eess.SY

发布日期: 2025-06-07 (更新: 2025-06-21)

💡 一句话要点

提出基于深度强化学习的联合实时能源调度方法，优化含异构电池储能的绿色建筑能源管理。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 能源调度 绿色建筑 电池储能系统 电动汽车 实时优化 异构系统

📋 核心要点

  1. 现有能源调度方法难以有效处理ESS和EV的异构特性，以及由此带来的调度复杂性。
  2. 提出基于DRL的联合调度策略，通过精确建模电池退化和出行需求，实现ESS和EV的协同优化。
  3. 实验表明，该方法在降低运营成本方面显著优于传统MILP方法，提升幅度达37.94%-40.01%。

📝 摘要（中文）

本文提出了一种基于无模型深度强化学习(DRL)的联合实时调度方法，用于集成储能系统(ESS)和电动汽车(EV)的组合电池系统(CBS)。该方法针对绿色建筑(GBs)，旨在通过可再生能源和建筑能源管理系统(BEMS)实现高效能源利用和可持续发展。论文开发了精确的退化模型和成本估算，优先考虑电动汽车的出行需求，并支持ESS-EV在不同条件下的协同运行。预测模型用于优化CBS和BEMS之间的能量交互。为了解决异构状态、动作耦合和学习效率问题，DRL算法结合了双网络、决斗机制和优先经验回放。实验结果表明，与混合整数线性规划(MILP)方法相比，运营成本降低了37.94%至40.01%。

🔬 方法详解

问题定义：论文旨在解决绿色建筑中，集成ESS和EV的CBS的实时能源调度问题。现有方法，如MILP，难以有效处理ESS和EV的异构特性（如不同的退化模型和运行特性），以及复杂的约束条件（如EV的出行需求），导致调度效率低下，运营成本较高。

核心思路：论文的核心思路是利用无模型的深度强化学习(DRL)方法，直接从与环境的交互中学习最优调度策略。通过DRL，可以避免对复杂系统进行精确建模，并能够自适应地处理异构性和不确定性。同时，通过精确的退化模型和成本估算，以及优先考虑EV出行需求，实现ESS和EV的协同优化。

技术框架：整体框架包括以下几个主要模块：1) 环境建模：构建绿色建筑的能源系统模型，包括可再生能源发电、建筑能耗、ESS和EV的充放电特性、电池退化模型等。2) 状态空间设计：定义DRL算法的状态空间，包括ESS和EV的荷电状态(SOC)、建筑能耗需求、可再生能源发电量预测等。3) 动作空间设计：定义DRL算法的动作空间，包括ESS和EV的充放电功率。4) 奖励函数设计：设计奖励函数，以最小化运营成本为目标，同时考虑电池退化成本和EV出行需求。5) DRL算法实现：采用改进的DRL算法，包括双网络、决斗机制和优先经验回放。

关键创新：论文的关键创新在于：1) 提出了基于DRL的联合实时调度方法，能够有效处理ESS和EV的异构特性和复杂约束。2) 开发了精确的电池退化模型和成本估算方法，能够更准确地评估电池的长期运营成本。3) 引入了优先经验回放机制，提高了DRL算法的学习效率。4) 结合双网络和决斗机制，提升了DRL算法的稳定性和收敛性。

关键设计：论文中，DRL算法采用了Double DQN结构，缓解了Q值过估计问题。决斗网络(Dueling Network)将Q值分解为状态值函数和动作优势函数，加速了学习过程。优先经验回放(Prioritized Experience Replay)根据TD误差的大小，赋予经验不同的采样概率，提高了学习效率。奖励函数的设计综合考虑了能源成本、电池退化成本和EV出行需求，通过调整各项成本的权重，可以灵活地适应不同的应用场景。具体网络结构和超参数设置在论文中有详细描述，但此处未提供具体数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与传统的MILP方法相比，该方法在降低运营成本方面取得了显著的提升，降低幅度达到37.94%至40.01%。这表明该方法能够有效地处理ESS和EV的异构特性和复杂约束，实现更优的能源调度策略。具体的实验设置和参数配置在论文中有详细描述。

🎯 应用场景

该研究成果可应用于智能电网、微电网和绿色建筑等领域，实现可再生能源的高效利用和能源系统的优化调度。通过集成ESS和EV，可以提高能源系统的灵活性和可靠性，降低运营成本，并促进可持续发展。该方法具有广泛的应用前景，尤其是在电动汽车普及和可再生能源占比不断提高的背景下。

📄 摘要（原文）

Green buildings (GBs) with renewable energy and building energy management systems (BEMS) enable efficient energy use and support sustainable development. Electric vehicles (EVs), as flexible storage resources, enhance system flexibility when integrated with stationary energy storage systems (ESS) for real-time scheduling. However, differing degradation and operational characteristics of ESS and EVs complicate scheduling strategies. This paper proposes a model-free deep reinforcement learning (DRL) method for joint real-time scheduling based on a combined battery system (CBS) integrating ESS and EVs. We develop accurate degradation models and cost estimates, prioritize EV travel demands, and enable collaborative ESS-EV operation under varying conditions. A prediction model optimizes energy interaction between CBS and BEMS. To address heterogeneous states, action coupling, and learning efficiency, the DRL algorithm incorporates double networks, a dueling mechanism, and prioritized experience replay. Experiments show a 37.94 percent to 40.01 percent reduction in operating costs compared to a mixed-integer linear programming (MILP) approach.