Control-Informed Reinforcement Learning for Chemical Processes

📄 arXiv: 2408.13566v2 📥 PDF

作者: Maximilian Bloor, Akhil Ahmed, Niki Kotecha, Mehmet Mercangöz, Calvin Tsay, Ehecactl Antonio Del Rio Chanona

分类: eess.SY

发布日期: 2024-08-24 (更新: 2024-08-27)

💡 一句话要点

提出控制理论指导的强化学习框架，提升化工过程控制的性能与鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 控制理论 PID控制 化工过程控制 深度学习 鲁棒控制 模型预测控制 连续搅拌釜反应器

📋 核心要点

  1. 传统深度强化学习在化工过程控制中面临样本效率低、鲁棒性差等问题，难以应对复杂扰动和泛化到新的工况。
  2. 该论文提出CIRL框架，将PID控制器融入深度RL策略，利用控制理论先验知识指导学习，提升控制性能和鲁棒性。
  3. 在连续搅拌釜反应器(CSTR)上的实验表明，CIRL在设定点跟踪、抗扰动和泛化能力方面优于传统RL和PID控制。

📝 摘要（中文）

本研究提出了一种控制理论指导的强化学习(CIRL)框架，该框架将比例-积分-微分(PID)控制组件集成到深度强化学习(RL)策略的架构中。所提出的方法通过PID控制器层增强了深度RL智能体，将控制理论的先验知识融入到学习过程中。CIRL结合了PID控制的抗扰动和设定点跟踪能力以及深度RL的非线性建模能力，从而提高了性能和鲁棒性。在连续搅拌釜反应器系统上进行的仿真研究表明，与传统的无模型深度RL和静态PID控制器相比，CIRL具有更好的性能。CIRL表现出更好的设定点跟踪能力，特别是在推广到训练分布之外的轨迹时，表明其具有更强的泛化能力。此外，CIRL策略中嵌入的先验控制知识提高了其对未观察到的系统扰动的鲁棒性。该控制理论指导的RL框架结合了经典控制和强化学习的优势，开发出样本高效且鲁棒的深度强化学习算法，在复杂的工业系统中具有潜在的应用。

🔬 方法详解

问题定义：化工过程控制通常面临非线性、时变和不确定性等挑战，传统的PID控制虽然简单有效，但在复杂工况下性能受限。深度强化学习(DRL)具有强大的非线性建模能力，但样本效率低，训练不稳定，且对未见过的扰动鲁棒性差。因此，如何结合两者的优势，设计一种既能有效控制复杂过程，又具有良好鲁棒性和泛化能力的控制策略是一个关键问题。

核心思路：该论文的核心思路是将经典的PID控制器的结构嵌入到深度强化学习策略中，利用PID控制器提供的先验控制知识来指导DRL智能体的学习。通过这种方式，DRL智能体可以更快地学习到有效的控制策略，并且能够更好地应对未知的扰动和工况变化。这种控制理论指导的强化学习(CIRL)方法旨在结合PID控制的稳定性和DRL的自适应性。

技术框架：CIRL框架的核心是将PID控制器作为一个层添加到深度神经网络中。整体架构包含以下几个主要模块：1) 状态输入层：接收系统状态作为输入；2) PID控制层：根据状态和设定点计算控制信号；3) 深度神经网络层：对PID控制器的输出进行非线性修正，以适应复杂的过程动态；4) 执行器：将控制信号作用于实际系统。整个框架通过强化学习算法进行训练，目标是最大化累积奖励。

关键创新：该论文的关键创新在于将控制理论的先验知识显式地融入到深度强化学习策略中。与传统的端到端DRL方法相比，CIRL方法能够利用PID控制器的稳定性和抗扰动能力，从而提高学习效率和鲁棒性。此外，CIRL方法还能够更好地泛化到未见过的工况，因为它已经学习到了一些通用的控制规律。

关键设计：PID控制器的参数（Kp, Ki, Kd）可以固定，也可以作为可学习的参数，与神经网络一起进行优化。损失函数通常包括设定点跟踪误差和控制信号的惩罚项。神经网络的结构可以根据具体问题进行选择，常用的结构包括多层感知机(MLP)和循环神经网络(RNN)。强化学习算法可以选择常见的算法，如DQN、DDPG或PPO。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在连续搅拌釜反应器(CSTR)的仿真实验中，CIRL在设定点跟踪任务中表现出优于传统PID控制和无模型DRL的性能。特别是在推广到训练分布之外的设定点轨迹时，CIRL的跟踪误差显著降低，表明其具有更强的泛化能力。此外，CIRL对未观察到的系统扰动表现出更强的鲁棒性，证明了控制理论指导的强化学习方法的有效性。

🎯 应用场景

该研究成果可应用于各种复杂的工业过程控制场景，例如化工反应器控制、炼油过程优化、电力系统调度等。通过结合经典控制理论和深度强化学习，可以开发出更加智能、高效和鲁棒的控制系统，从而提高生产效率、降低能源消耗和减少环境污染。未来，该方法有望推广到更广泛的自动化控制领域。

📄 摘要（原文）

This work proposes a control-informed reinforcement learning (CIRL) framework that integrates proportional-integral-derivative (PID) control components into the architecture of deep reinforcement learning (RL) policies. The proposed approach augments deep RL agents with a PID controller layer, incorporating prior knowledge from control theory into the learning process. CIRL improves performance and robustness by combining the best of both worlds: the disturbance-rejection and setpoint-tracking capabilities of PID control and the nonlinear modeling capacity of deep RL. Simulation studies conducted on a continuously stirred tank reactor system demonstrate the improved performance of CIRL compared to both conventional model-free deep RL and static PID controllers. CIRL exhibits better setpoint-tracking ability, particularly when generalizing to trajectories outside the training distribution, suggesting enhanced generalization capabilities. Furthermore, the embedded prior control knowledge within the CIRL policy improves its robustness to unobserved system disturbances. The control-informed RL framework combines the strengths of classical control and reinforcement learning to develop sample-efficient and robust deep reinforcement learning algorithms, with potential applications in complex industrial systems.