Imitation learning with artificial neural networks for demand response with a heuristic control approach for heat pumps

📄 arXiv: 2407.11561v1 📥 PDF

作者: Thomas Dengiz, Max Kleinebrahm

分类: eess.SY

发布日期: 2024-07-16

💡 一句话要点

提出基于人工神经网络的模仿学习方法PSC-ANN，优化热泵需求响应。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 需求响应 模仿学习 人工神经网络 热泵控制 智能建筑

📋 核心要点

  1. 可再生能源的波动性给电力系统带来挑战，电加热设备的灵活性可有效应对这一问题。
  2. 论文提出PSC-ANN方法，结合模仿学习与智能控制，通过学习优化策略来控制热泵，实现需求响应。
  3. 实验表明，PSC-ANN优于传统方法，且训练好的模型可泛化到类似建筑，并减少了计算时间。

📝 摘要（中文）

本文提出了一种结合人工神经网络的模仿学习与智能控制方法，用于热泵的需求响应。该模型通过学习优化问题的输出数据进行训练，旨在最小化电费成本（基于分时电价），同时将建筑温度维持在可接受的范围内。我们开发了一种新颖的方法，称为PSC-ANN，并在具有不同隔热水平的多户住宅中进行了评估，这些住宅使用地板采暖系统作为热存储。结果表明，PSC-ANN优于文献中经过积极评估的智能控制方法和传统控制方法。此外，实验表明，针对特定建筑物训练的模仿学习模型也适用于其他类似建筑物，而无需使用新数据再次训练。与最优求解相应的优化问题相比，该方法还减少了执行时间。PSC-ANN可以集成到多个建筑物中，通过响应不稳定的外部信号来调整其电力消耗，从而更好地利用可再生能源。

🔬 方法详解

问题定义：论文旨在解决如何在满足用户舒适度需求（温度控制在合理范围内）的前提下，利用热泵的灵活性，根据分时电价等需求响应信号，优化热泵的运行策略，从而降低用电成本。现有方法，如传统的开关控制或简单的PID控制，无法充分利用热泵的灵活性，而直接求解优化问题计算量大，难以实时应用。

核心思路：论文的核心思路是使用模仿学习（Imitation Learning）方法，训练一个人工神经网络（ANN），使其能够模仿优化问题的最优解。具体来说，首先通过求解一个优化问题，得到在不同需求响应信号下的最优热泵运行策略，然后将这些数据作为训练数据，训练ANN模型。训练好的ANN模型可以直接根据当前的需求响应信号，快速预测出热泵的运行策略，从而实现实时控制。

技术框架：整体框架包含以下几个主要步骤：1) 建立热泵系统的数学模型，包括热泵的能耗模型、建筑物的热力学模型等。2) 构建优化问题，目标函数为最小化电费成本，约束条件包括温度约束、热泵的运行约束等。3) 使用优化算法（如混合整数线性规划）求解优化问题，得到最优的热泵运行策略。4) 使用优化问题的解作为训练数据，训练ANN模型。5) 将训练好的ANN模型部署到实际的热泵控制系统中，根据需求响应信号实时控制热泵的运行。

关键创新：论文的关键创新在于将模仿学习方法应用于热泵的需求响应控制。与传统的控制方法相比，模仿学习方法可以学习到更复杂的控制策略，从而更好地利用热泵的灵活性。与直接求解优化问题相比，模仿学习方法可以大大减少计算时间，从而实现实时控制。此外，论文还发现，针对特定建筑物训练的ANN模型可以泛化到其他类似的建筑物，从而减少了模型的训练成本。

关键设计：论文中ANN模型的具体结构未知，但可以推测其输入包括需求响应信号（如分时电价）、建筑物温度等信息，输出为热泵的控制信号（如功率）。损失函数通常采用均方误差（MSE），衡量ANN模型的预测值与优化问题解之间的差异。训练数据需要包含足够多的不同场景，以保证ANN模型的泛化能力。具体的网络结构（如层数、神经元个数）和训练参数（如学习率、batch size）需要根据实际情况进行调整。

🖼️ 关键图片

img_0

📊 实验亮点

PSC-ANN方法在多户住宅的实验中，优于文献中已有的智能控制方法和传统控制方法。更重要的是，针对特定建筑训练的模型，无需重新训练即可应用于相似建筑，大大降低了部署成本。此外，PSC-ANN显著减少了计算时间，使其能够满足实时控制的需求，这对于实际应用至关重要。

🎯 应用场景

该研究成果可应用于智能家居、智能楼宇等领域，通过优化热泵的运行，降低用户的用电成本，提高能源利用效率。同时，该方法也有助于电网更好地消纳可再生能源，提高电力系统的稳定性。未来，该方法可以扩展到其他类型的电加热设备，实现更广泛的需求响应。

📄 摘要（原文）

The flexibility of electrical heating devices can help address the issues arising from the growing presence of unpredictable renewable energy sources in the energy system. In particular, heat pumps offer an effective solution by employing smart control methods that adjust the heat pump's power output in reaction to demand response signals. This paper combines imitation learning based on an artificial neural network with an intelligent control approach for heat pumps. We train the model using the output data of an optimization problem to determine the optimal operation schedule of a heat pump. The objective is to minimize the electricity cost with a time-variable electricity tariff while keeping the building temperature within acceptable boundaries. We evaluate our developed novel method, PSC-ANN, on various multi-family buildings with differing insulation levels that utilize an underfloor heating system as thermal storage. The results show that PSC-ANN outperforms a positively evaluated intelligent control approach from the literature and a conventional control approach. Further, our experiments reveal that a trained imitation learning model for a specific building is also applicable to other similar buildings without the need to train it again with new data. Our developed approach also reduces the execution time compared to optimally solving the corresponding optimization problem. PSC-ANN can be integrated into multiple buildings, enabling them to better utilize renewable energy sources by adjusting their electricity consumption in response to volatile external signals.