Intersection of Reinforcement Learning and Bayesian Optimization for Intelligent Control of Industrial Processes: A Safe MPC-based DPG using Multi-Objective BO

📄 arXiv: 2507.09864v1 📥 PDF

作者: Hossein Nejatbakhsh Esfahani, Javad Mohammadpour Velni

分类: eess.SY, cs.AI, cs.LG, math.OC

发布日期: 2025-07-14

💡 一句话要点

提出基于多目标贝叶斯优化的安全MPC-RL方法，用于智能工业过程控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型预测控制 强化学习 贝叶斯优化 多目标优化 工业过程控制

📋 核心要点

  1. 传统MPC-RL方法收敛慢、策略学习受限，且在线适应存在安全隐患，限制了其在工业过程控制中的应用。
  2. 论文提出MPC-RL-MOBO框架，利用MOBO优化MPC参数，结合CDPG估计梯度，实现高效安全的策略学习。
  3. 数值实验表明，该方法在样本效率、稳定性和性能方面均优于传统MPC-RL方法，适用于控制系统。

📝 摘要（中文）

本文提出了一种将基于模型预测控制（MPC）的强化学习（RL）与多目标贝叶斯优化（MOBO）相结合的新框架。相较于基于深度神经网络（DNN）的RL方法，MPC-RL具有结构化、可解释性强、计算复杂度低和透明度高的优点。然而，标准的MPC-RL方法通常存在收敛速度慢、由于参数化限制导致策略学习次优以及在线自适应过程中的安全问题。为了解决这些挑战，该方法利用兼容确定性策略梯度（CDPG）方法估计RL阶段成本及其梯度的噪声评估，并将其纳入使用期望超体积改进（EHVI）采集函数的多目标贝叶斯优化算法中。这种融合能够高效且安全地调整MPC参数，从而在模型不完善的情况下实现改进的闭环性能。数值示例验证了该方法在控制系统中实现样本高效、稳定和高性能学习的有效性。

🔬 方法详解

问题定义：论文旨在解决传统MPC-RL方法在工业过程控制中存在的收敛速度慢、策略学习次优以及在线自适应过程中的安全问题。现有方法通常依赖手动调参或简单的优化算法，难以在保证安全性的前提下实现高效的策略学习。尤其是在模型不确定或存在扰动的情况下，这些问题会更加突出。

核心思路：论文的核心思路是将MPC-RL与MOBO相结合，利用MOBO的全局优化能力和处理噪声评估的能力，高效地搜索MPC参数空间，从而提高策略学习的效率和安全性。通过将RL阶段成本及其梯度信息融入MOBO，可以更准确地评估不同参数配置的性能，并指导参数的调整方向。

技术框架：该方法的技术框架主要包括三个部分：MPC控制器、RL策略学习器和MOBO优化器。MPC控制器负责根据当前状态和策略输出控制信号；RL策略学习器使用CDPG算法估计RL阶段成本及其梯度；MOBO优化器则利用这些信息，通过EHVI采集函数选择下一组MPC参数进行评估。整个流程迭代进行，直到找到最优的MPC参数配置。

关键创新：该方法最重要的技术创新点在于将MOBO引入MPC-RL框架，并利用CDPG算法估计的噪声梯度信息指导MOBO的优化过程。与传统的基于梯度下降的优化方法相比，MOBO具有更强的全局搜索能力和鲁棒性，能够更好地应对模型不确定性和噪声干扰。此外，使用EHVI采集函数可以平衡探索和利用，从而提高优化效率。

关键设计：在参数设置方面，需要合理选择MOBO的超参数，如高斯过程的核函数和长度尺度。在损失函数方面，使用RL阶段成本作为MOBO的优化目标之一，同时也可以考虑其他性能指标，如控制精度和稳定性。CDPG算法的关键在于选择合适的兼容函数，以保证梯度估计的准确性。MPC控制器的设计也需要根据具体的工业过程进行调整，包括预测模型、控制时域和约束条件等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

数值实验表明，所提出的MPC-RL-MOBO方法在样本效率、稳定性和性能方面均优于传统的MPC-RL方法。具体而言，该方法能够在更少的迭代次数内找到更优的MPC参数配置，并实现更高的控制精度和更低的能量消耗。实验结果还表明，该方法对模型不确定性和噪声干扰具有较强的鲁棒性。

🎯 应用场景

该研究成果可广泛应用于各种工业过程控制领域，例如化工过程、电力系统、机器人控制等。通过自动优化MPC参数，可以提高控制系统的性能、稳定性和安全性，降低人工干预的需求，并实现更智能化的生产过程。未来，该方法有望进一步扩展到更复杂的控制场景，例如多智能体控制和自适应控制。

📄 摘要（原文）

Model Predictive Control (MPC)-based Reinforcement Learning (RL) offers a structured and interpretable alternative to Deep Neural Network (DNN)-based RL methods, with lower computational complexity and greater transparency. However, standard MPC-RL approaches often suffer from slow convergence, suboptimal policy learning due to limited parameterization, and safety issues during online adaptation. To address these challenges, we propose a novel framework that integrates MPC-RL with Multi-Objective Bayesian Optimization (MOBO). The proposed MPC-RL-MOBO utilizes noisy evaluations of the RL stage cost and its gradient, estimated via a Compatible Deterministic Policy Gradient (CDPG) approach, and incorporates them into a MOBO algorithm using the Expected Hypervolume Improvement (EHVI) acquisition function. This fusion enables efficient and safe tuning of the MPC parameters to achieve improved closed-loop performance, even under model imperfections. A numerical example demonstrates the effectiveness of the proposed approach in achieving sample-efficient, stable, and high-performance learning for control systems.