Lessons learned from field demonstrations of model predictive control and reinforcement learning for residential and commercial HVAC: A review
作者: Arash J. Khabbazi, Elias N. Pergantis, Levi D. Reyes Premer, Panagiotis Papageorgiou, Alex H. Lee, James E. Braun, Gregor P. Henze, Kevin J. Kircher
分类: eess.SY
发布日期: 2025-03-06 (更新: 2025-07-19)
💡 一句话要点
综述MPC与RL在HVAC控制中的应用，分析实验协议并评估节能效果
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模型预测控制 强化学习 暖通空调系统 现场演示 能源效率 实验协议 成本效益分析
📋 核心要点
- 现有MPC和RL在HVAC控制中潜力巨大，但缺乏充分的现场数据支持商业化部署，阻碍了其广泛应用。
- 该综述分析了大量现场演示论文，评估了实验协议的可靠性，并量化了MPC和RL在实际应用中的节能效果。
- 研究揭示了当前现场实验的不足，并提出了改进建议，包括更可靠的实验设计和更全面的成本效益分析。
📝 摘要（中文）
大量仿真研究表明，模型预测控制（MPC）和强化学习（RL）在住宅和商业建筑的供暖、通风和空调（HVAC）系统中应用，可以降低能源成本、污染物排放以及电网压力。尽管潜力巨大，但MPC和RL尚未被广泛采用。现场演示可以通过提供支持部署商业案例的真实数据来加速MPC和RL的采用。本文回顾了24篇记录住宅建筑中MPC和RL现场演示的论文以及80篇记录商业建筑中应用的论文。在介绍实验范围、地点和持续时间等人口统计信息后，本文分析了实验协议及其对性能估计的影响。我们发现，71%的现场演示使用的实验协议可能导致不可靠的性能估计。在剩余的29%被我们认为是可靠的实验中，按实验持续时间加权的平均成本节省在住宅建筑中为16%，在商业建筑中为13%。虽然这些节省可能具有吸引力，但要支持MPC和RL的商业案例，还需要描述部署、运营和维护的成本。在104篇被审查的论文中，只有13篇报告了这些成本或讨论了相关挑战。基于这些观察结果，我们为未来的现场研究提出了方向，包括：改进实验协议；报告部署、运营和维护成本；设计算法和仪器以降低这些成本；控制HVAC设备以及其他分布式能源；以及追求新兴目标，如削峰、套利批发能源价格以及提供电网可靠性服务。
🔬 方法详解
问题定义：论文旨在评估模型预测控制（MPC）和强化学习（RL）在住宅和商业建筑的HVAC（供暖、通风和空调）系统中的实际节能效果，并分析阻碍其广泛应用的原因。现有方法的问题在于，大量的仿真研究表明其潜力，但实际现场演示的数据不足以支持商业化部署，且现有现场实验的协议可能存在偏差，导致性能评估不准确。此外，缺乏对部署、运营和维护成本的全面评估。
核心思路：论文的核心思路是通过系统性地回顾和分析已发表的关于MPC和RL在HVAC系统中现场演示的论文，评估实验协议的可靠性，并量化实际的节能效果。通过加权平均成本节省，并结合对部署、运营和维护成本的分析，更全面地评估MPC和RL的商业价值。同时，提出改进现场研究的建议，以促进这些技术的更广泛应用。
技术框架：该综述研究的技术框架主要包括以下几个阶段： 1. 文献收集：系统性地搜索和收集关于MPC和RL在住宅和商业建筑HVAC系统中现场演示的论文。 2. 数据提取：从收集到的论文中提取关键信息，包括实验范围、地点、持续时间、实验协议、节能效果以及部署、运营和维护成本。 3. 实验协议评估：评估每个现场演示的实验协议的可靠性，识别可能导致偏差的因素。 4. 性能分析：基于可靠的实验数据，计算加权平均成本节省，并分析影响节能效果的因素。 5. 成本分析：分析已报告的部署、运营和维护成本，并识别相关挑战。 6. 建议提出：基于分析结果，提出改进现场研究的建议，以促进MPC和RL的更广泛应用。
关键创新：该综述的关键创新在于： 1. 系统性地评估了现有现场演示实验协议的可靠性，并识别了可能导致偏差的因素。 2. 通过加权平均成本节省，更准确地量化了MPC和RL在实际应用中的节能效果。 3. 强调了对部署、运营和维护成本进行全面评估的重要性，并提出了改进现场研究的建议。
关键设计：论文的关键设计在于： 1. 使用加权平均成本节省，其中权重为实验持续时间，以更准确地反映长期节能效果。 2. 对实验协议进行分类，区分可靠和不可靠的实验，以避免偏差。 3. 强调了对部署、运营和维护成本进行全面评估的重要性，并提出了具体的改进建议。
🖼️ 关键图片
📊 实验亮点
该研究发现，在可靠的现场演示中，MPC和RL在住宅建筑中平均可节省16%的能源成本，在商业建筑中平均可节省13%的能源成本。然而，大多数现场演示的实验协议可能存在偏差，导致性能评估不准确。此外，只有少数研究报告了部署、运营和维护成本，这阻碍了对MPC和RL商业价值的全面评估。
🎯 应用场景
该研究成果可应用于智能建筑、能源管理和电网优化等领域。通过更可靠的现场实验和更全面的成本效益分析，可以加速MPC和RL在HVAC系统中的应用，从而降低能源消耗、减少污染物排放，并提高电网的可靠性。未来的研究方向包括与其他分布式能源协同控制，以及参与电力市场的需求响应。
📄 摘要（原文）
A large body of simulation research suggests that model predictive control (MPC) and reinforcement learning (RL) for heating, ventilation, and air-conditioning (HVAC) in residential and commercial buildings could reduce energy costs, pollutant emissions, and strain on power grids. Despite this potential, neither MPC nor RL has seen widespread industry adoption. Field demonstrations could accelerate MPC and RL adoption by providing real-world data that support the business case for deployment. Here we review 24 papers that document field demonstrations of MPC and RL in residential buildings and 80 in commercial buildings. After presenting demographic information -- such as experiment scopes, locations, and durations -- this paper analyzes experiment protocols and their influence on performance estimates. We find that 71% of the reviewed field demonstrations use experiment protocols that may lead to unreliable performance estimates. Over the remaining 29% that we view as reliable, the weighted-average cost savings, weighted by experiment duration, are 16% in residential buildings and 13% in commercial buildings. While these savings are potentially attractive, making the business case for MPC and RL also requires characterizing the costs of deployment, operation, and maintenance. Only 13 of the 104 reviewed papers report these costs or discuss related challenges. Based on these observations, we recommend directions for future field research, including: Improving experiment protocols; reporting deployment, operation, and maintenance costs; designing algorithms and instrumentation to reduce these costs; controlling HVAC equipment alongside other distributed energy resources; and pursuing emerging objectives such as peak shaving, arbitraging wholesale energy prices, and providing power grid reliability services.