Optimal Control of District Cooling Energy Plant with Reinforcement Learning and MPC

📄 arXiv: 2310.03814v1 📥 PDF

作者: Zhong Guo, Aditya Chaudhari, Austin R. Coffman, Prabir Barooah

分类: eess.SY

发布日期: 2023-10-05

备注: 18 pages, 12 figures. arXiv admin note: text overlap with arXiv:2203.07500

💡 一句话要点

提出基于强化学习和模型预测控制的区域冷却能源厂优化控制方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 区域冷却 强化学习 模型预测控制 能源优化 电力成本 智能建筑 可持续发展

📋 核心要点

  1. 现有的模型预测控制方法在处理区域冷却能源厂时面临复杂的混合整数非线性规划问题，计算负担较重。
  2. 本文提出了一种基于强化学习的控制器，利用最小二乘策略迭代的Q学习算法，简化了控制计算过程。
  3. 模拟结果显示，所提的RL和MPC控制器在电力成本节约方面与基线控制器相比均实现了约17%的节省，效果显著。

📝 摘要（中文）

本文考虑了在时间变化电价下，优化区域冷却能源厂（DCEP）控制的问题。传统的模型预测控制（MPC）方法需要解决复杂的混合整数非线性规划（MINLP），而强化学习（RL）则提供了更简单的实时控制计算方案。本文提出了一种基于最小二乘策略迭代的Q学习算法的RL控制器，并与MPC控制器进行比较。实验结果表明，所提RL和MPC控制器在电力成本节约方面与基线控制器相比均实现了约17%的节省。

🔬 方法详解

问题定义：本文旨在解决区域冷却能源厂（DCEP）在时间变化电价下的优化控制问题。现有的模型预测控制方法由于需要处理复杂的混合整数非线性规划，计算效率低下，难以实时应用。

核心思路：论文提出了一种强化学习控制器，采用基于最小二乘策略迭代的Q学习算法，旨在简化控制计算并提高实时性。通过合理设计状态空间和基函数，增强了RL控制器的有效性。

技术框架：整体架构包括RL控制器、MPC控制器和基于规则的基线控制器。RL控制器通过实时学习优化控制策略，而MPC控制器则通过非线性规划求解器进行控制决策。

关键创新：最重要的技术创新在于提出了一种新的Q学习算法，结合了最小二乘策略迭代，显著降低了计算复杂度，与传统MPC方法相比，能够更高效地进行实时控制。

关键设计：在RL控制器的设计中，选择了合适的状态空间和基函数，以提高学习效率和控制效果。具体的参数设置和损失函数设计也经过精心调整，以确保算法的收敛性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提的强化学习和模型预测控制器在电力成本节约方面均实现了约17%的提升，相较于基线控制器表现出色。这一结果验证了新方法在实际应用中的有效性和可行性。

🎯 应用场景

该研究的潜在应用领域包括智能建筑管理、城市能源管理和可再生能源集成等。通过优化区域冷却能源厂的控制策略，可以显著降低能源成本，提高能源利用效率，推动可持续发展。未来，该方法有望在更广泛的能源系统中推广应用，助力智能城市建设。

📄 摘要（原文）

We consider the problem of optimal control of district cooling energy plants (DCEPs) consisting of multiple chillers, a cooling tower, and a thermal energy storage (TES), in the presence of time-varying electricity price. A straightforward application of model predictive control (MPC) requires solving a challenging mixed-integer nonlinear program (MINLP) because of the on/off of chillers and the complexity of the DCEP model. Reinforcement learning (RL) is an attractive alternative since its real-time control computation is much simpler. But designing an RL controller is challenging due to myriad design choices and computationally intensive training. In this paper, we propose an RL controller and an MPC controller for minimizing the electricity cost of a DCEP, and compare them via simulations. The two controllers are designed to be comparable in terms of objective and information requirements. The RL controller uses a novel Q-learning algorithm that is based on least-squares policy iteration. We describe the design choices for the RL controller, including the choice of state space and basis functions, that are found to be effective. The proposed MPC controller does not need a mixed integer solver for implementation, but only a nonlinear program (NLP) solver. A rule-based baseline controller is also proposed to aid in comparison. Simulation results show that the proposed RL and MPC controllers achieve similar savings over the baseline controller, about 17%.