Two-Timescale Reinforcement Learning for Real-Time Optimization and Economic NMPC: Experimental Validation

📄 arXiv: 2609.35141v1 📥 PDF

作者: Saket Adhau, Jose Matias, Sebastien Gros, Sigurd Skogestad

分类: eess.SY

发布日期: 2026-09-28

备注: 12 pages, submitted to Journal of Process Control

💡 一句话要点

提出双时间尺度强化学习框架以优化经济非线性模型预测控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 实时优化 经济非线性模型预测控制 过程控制 模型-植物不匹配 实验验证 动态调节

📋 核心要点

  1. 现有的实时优化和经济非线性模型预测控制方法在应对模型与实际植物不匹配时存在不足，导致经济效益未能最大化。
  2. 论文提出了一种双时间尺度的强化学习框架，通过Q学习在快速和慢速时间尺度上调节模型参数，以优化控制策略。
  3. 实验结果表明，提出的方案在经济利润上比传统方法提升了8.6%，并有效保持了控制策略的输入可行性。

📝 摘要（中文）

本文提出了一种强化学习框架，旨在调优实时优化（RTO）和经济非线性模型预测控制（ENMPC），以应对过程系统中的模型-植物不匹配问题。该方法基于修正适应概念，对动态模型、阶段成本、约束和RTO修正器进行参数化，并利用Q学习在两个时间尺度上调整这些参数：ENMPC层的快速更新和RTO层的慢速更新。通过在模拟三口海底油气生产网络的实验室设备上进行验证，提出的RTO-RLMPC方案比名义ENMPC实现了8.6%的经济利润提升，同时保持了ENMPC策略的输入可行性，并在扰动和测量噪声下经验性地满足路径约束。该研究为RL调优的ENMPC与RTO集成提供了首次实验验证。

🔬 方法详解

问题定义：本文旨在解决过程系统中实时优化（RTO）和经济非线性模型预测控制（ENMPC）在面对植物-模型不匹配时的挑战，现有方法难以有效调节以适应动态变化的环境。

核心思路：提出的框架通过双时间尺度的强化学习，分别快速调整ENMPC层和慢速调整RTO层的参数，以实现更高的经济效益和系统稳定性。

技术框架：整体架构包括动态模型参数化、阶段成本和约束的调整，以及RTO修正器的优化。框架通过Q学习算法实现参数的动态更新，确保在不同时间尺度下的有效调节。

关键创新：本研究的创新在于首次将强化学习与经济非线性模型预测控制和实时优化相结合，形成了一种新的调优机制，显著提升了经济性能。

关键设计：在设计中，采用了基于Q学习的算法，设定了动态模型的参数、阶段成本和约束条件，并通过实验数据独立识别参考植物值，确保学习过程的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，提出的RTO-RLMPC方案在经济利润上比传统的名义ENMPC提高了8.6%。此外，该方案在扰动和测量噪声下仍能保持输入可行性，并有效满足路径约束，展现出良好的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括石油和天然气生产、化工过程控制等需要实时优化和动态调节的工业系统。通过提高经济效益和系统稳定性，该框架能够为工业界提供更高效的控制策略，推动智能制造的发展。

📄 摘要（原文）

We propose a reinforcement learning (RL) framework that tunes both Real-Time Optimization (RTO) and Economic Nonlinear Model Predictive Control (ENMPC) to address plant--model mismatch in process systems. Drawing on modifier-adaptation concepts, the method parameterizes the dynamic model, stage costs, constraints, and RTO modifiers, and uses Q-learning to adjust these parameters at two timescales: a fast update for the ENMPC layer and a slow update for the RTO layer. The framework is experimentally validated on a laboratory rig emulating a three-well subsea oil-production network. Using plant measurement data, the proposed RTO-RLMPC scheme achieves 8.6% higher economic profit than nominal ENMPC, preserves input feasibility of the deployed ENMPC policy and empirically satisfies the path constraints under disturbances and measurement noise, and drives the learned model parameters toward reference plant values, independently identified from experimental data, along the directions that most affect the economic objective. This work provides one of the first experimental demonstrations of RL-tuned ENMPC integrated with RTO.