Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC

📄 arXiv: 2510.01475 📥 PDF

作者: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

分类: eess.SY, cs.LG

发布日期: 2026-07-20

💡 一句话要点

比较强化学习与模型预测控制在住宅HVAC中的应用效果

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型预测控制 强化学习 住宅HVAC 节能 智能家居 控制策略

📋 核心要点

  1. 现有的模型预测控制方法在住宅HVAC中表现优异，但部署过程复杂且耗时，限制了其广泛应用。
  2. 本文提出了一种基于强化学习的控制方法，旨在简化住宅HVAC系统的部署，同时保持良好的能效和舒适度。
  3. 实验结果表明，强化学习在节能方面优于模型预测控制，且在工程部署上显著减少了工作量。

📝 摘要（中文）

模型预测控制（MPC）在住宅供暖、通风和空调（HVAC）系统中表现出显著的性能提升，但其部署通常需要大量工程工作。强化学习（RL）可能提供类似的性能且更易于部署，但其在住宅HVAC中的实际应用尚未得到充分验证。为此，本文在寒冷气候下的一个住宅中分别部署了一种MPC变体和一种基于模型的RL变体，持续一个月。结果显示，相较于恒定设定点操作，MPC节省了18.1%的热泵能耗，而RL节省了20.9%。MPC保持了可接受的居住者舒适度，而RL在初始适应阶段使房屋温度较低，导致三次居住者不适的报告。两种算法的数据需求相似。我们估计在另一个房屋的新部署中，RL所需的工程工作量约为MPC的三分之一。

🔬 方法详解

问题定义：本文旨在解决住宅HVAC系统中模型预测控制（MPC）部署复杂、耗时的问题，同时探讨强化学习（RL）在该领域的应用潜力。现有MPC方法虽然性能优越，但其工程实施难度较大，限制了实际应用。

核心思路：本文提出通过部署一种基于模型的强化学习控制算法，来简化HVAC系统的控制策略，同时保持与MPC相当的性能。通过实地实验，验证RL在节能和舒适度方面的有效性。

技术框架：研究中分别部署了MPC和RL控制器，控制器根据室内温度和电力消耗数据调整热泵的温度设定点。实验持续一个月，评估两种控制策略的能效和居住者舒适度。

关键创新：本文的主要创新在于首次将强化学习应用于住宅HVAC系统的实际部署中，展示了其在节能和工程实施上的优势，尤其是在减少工程工作量方面。

关键设计：在实验中，MPC和RL的设计均考虑了室内温度和电力消耗的数据输入，RL的控制策略在初始阶段需要适应环境，可能导致居住者的不适感。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，相较于恒定设定点操作，MPC节省了18.1%的热泵能耗，而RL则节省了20.9%。尽管RL在初始适应阶段导致了居住者的不适，但其在工程部署上所需的工作量约为MPC的三分之一，显示出其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能家居和建筑自动化系统，能够为HVAC系统的控制提供更灵活和高效的解决方案。通过简化部署过程，强化学习有望在未来的住宅和商业建筑中得到更广泛的应用，提升能源利用效率和居住者舒适度。

📄 摘要（原文）

Model Predictive Control (MPC) has demonstrated significant performance improvements over today's control methods for residential Heating, Ventilation, and Air Conditioning (HVAC), but deploying MPC often requires substantial engineering effort. Reinforcement Learning (RL) may offer comparable performance with easier deployment, but its practical application for residential HVAC remains largely undemonstrated, leaving open questions related to occupant comfort and data requirements. To investigate these issues, we deployed one MPC variant and one model-based RL variant for one month each in an occupied house in a cold climate. The controllers adjusted an air-to-air heat pump's thermostat temperature setpoint based on measurements of the indoor temperature and the electric power used for heating. Relative to constant-setpoint operation, MPC saved 18.1\% (95\% confidence interval: 4.4 to 30.9\%) of weather-normalized heat pump energy and RL saved 20.9\% (2.6 to 38.3\%). MPC maintained acceptable occupant comfort. RL kept the house cooler, particularly during an initial adaptation phase, leading to three reports of occupant discomfort. The two algorithms had similar data requirements. We estimate that for a fresh deployment in another house, RL would take about one-third less engineering effort than MPC. While RL reduces deployment effort, it faces difficulties related to safe controller initialization and to mismatches between the modeled and true state and action spaces.