Least Squares and Marginal Log-Likelihood Model Predictive Control using Normalizing Flows

📄 arXiv: 2409.17632v2 📥 PDF

作者: Eike Cramer

分类: cs.LG

发布日期: 2024-09-26 (更新: 2025-05-14)

备注: 16 pages, 7 Figures, 10 Tables

DOI: 10.1016/j.jprocont.2025.103593

💡 一句话要点

提出基于Normalizing Flows的最小二乘与边际对数似然MPC，用于解决随机动态过程控制问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模型预测控制 Normalizing Flows 随机动态系统 概率密度估计 边际对数似然

📋 核心要点

  1. 现有MPC方法难以处理具有复杂相关性和状态依赖波动的随机动态过程，通常采用简化噪声模型。
  2. 利用条件Normalizing Flows显式学习状态的概率密度函数，并推导边际对数似然目标函数。
  3. 在反应器控制实验中，该方法显著降低了设定点误差和约束违反，验证了其有效性。

📝 摘要（中文）

现实世界的(生物)化学过程通常表现出具有非平凡相关性和状态相关波动的随机动态特性。模型预测控制(MPC)通常必须考虑这些波动以实现可靠的性能。然而，大多数过程模型只是简单地将平稳噪声项添加到确定性预测中。本文提出使用条件Normalizing Flows作为离散时间模型来学习随机动态。Normalizing Flows显式地学习状态的概率密度函数(PDF)，给定先前的状态和控制输入。除了标准的最小二乘(LSQ)目标外，本文还推导了基于显式PDF和马尔可夫链模拟的边际对数似然(MLL)目标。在一个反应器研究中，Normalizing Flow MPC在开环和闭环情况下将设定点误差降低到标称控制器的一半。此外，机会约束导致比标称控制器更少的约束违反。MLL目标产生的结果比LSQ略微稳定，特别是对于小场景集。

🔬 方法详解

问题定义：传统模型预测控制（MPC）在处理具有复杂随机动态特性的实际过程时面临挑战，尤其是在生物化学反应等领域。现有方法通常采用简化的噪声模型，无法准确捕捉状态依赖的波动和非平凡的相关性，导致控制性能下降和约束违反风险增加。

核心思路：本文的核心在于使用条件Normalizing Flows来建模随机动态过程。Normalizing Flows能够学习到状态的概率密度函数（PDF），从而显式地表示状态的随机性。通过将Normalizing Flows集成到MPC框架中，可以更准确地预测系统未来的状态分布，并优化控制策略以应对不确定性。

技术框架：该方法的核心框架包括以下几个关键模块：1) 使用条件Normalizing Flows构建离散时间模型，学习状态的条件概率密度函数；2) 基于学习到的PDF，推导边际对数似然（MLL）目标函数，用于优化模型参数；3) 将Normalizing Flow模型集成到MPC框架中，利用预测的状态分布进行控制决策；4) 使用马尔可夫链模拟评估控制策略的性能，并进行迭代优化。

关键创新：该方法最重要的创新点在于将Normalizing Flows引入到随机动态过程的建模和控制中。与传统的基于高斯噪声假设的方法不同，Normalizing Flows能够学习任意形状的概率分布，从而更准确地捕捉复杂随机动态的特性。此外，MLL目标的引入使得模型能够更好地拟合真实数据，提高预测精度。

关键设计：在模型设计方面，使用了条件Normalizing Flows，允许模型根据先前的状态和控制输入来预测当前状态的概率分布。损失函数方面，除了标准的最小二乘（LSQ）目标外，还使用了MLL目标，以更好地利用数据中的概率信息。在MPC框架中，采用了机会约束，以确保控制策略在满足约束条件的同时，能够应对状态的随机性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在反应器控制实验中，基于Normalizing Flow的MPC方法在开环和闭环情况下均显著降低了设定点误差，达到了标称控制器的一半。此外，该方法通过机会约束减少了约束违反的次数。实验结果表明，MLL目标函数相较于LSQ目标函数，在小样本情况下表现出更强的稳定性。

🎯 应用场景

该研究成果可广泛应用于具有复杂随机动态特性的过程控制领域，例如生物反应器控制、化学反应过程优化、以及其他需要考虑状态依赖波动和非平凡相关性的控制问题。该方法能够提高控制系统的鲁棒性和可靠性，降低约束违反的风险，并最终提升生产效率和产品质量。

📄 摘要（原文）

Real-world (bio)chemical processes often exhibit stochastic dynamics with non-trivial correlations and state-dependent fluctuations. Model predictive control (MPC) often must consider these fluctuations to achieve reliable performance. However, most process models simply add stationary noise terms to a deterministic prediction. This work proposes using conditional normalizing flows as discrete-time models to learn stochastic dynamics. Normalizing flows learn the probability density function (PDF) of the states explicitly, given prior states and control inputs. In addition to standard least squares (LSQ) objectives, this work derives a marginal log-likelihood (MLL) objective based on the explicit PDF and Markov chain simulations. In a reactor study, the normalizing flow MPC reduces the setpoint error in open and closed-loop cases to half that of a nominal controller. Furthermore, the chance constraints lead to fewer constraint violations than the nominal controller. The MLL objective yields slightly more stable results than the LSQ, particularly for small scenario sets.