A Comparison of Strategies to Embed Physics-Informed Neural Networks in Nonlinear Model Predictive Control Formulations Solved via Direct Transcription

📄 arXiv: 2501.06335v1 📥 PDF

作者: Carlos Andrés Elorza Casas, Luis A. Ricardez-Sandoval, Joshua L. Pulsipher

分类: eess.SY, math.OC

发布日期: 2025-01-10

💡 一句话要点

对比物理信息神经网络嵌入非线性模型预测控制的不同策略，用于偏微分方程描述的系统。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 物理信息神经网络 非线性模型预测控制 直接转录 偏微分方程 自动微分

📋 核心要点

  1. 现有方法在将物理信息神经网络嵌入非线性模型预测控制时，计算效率提升有限，尤其是在使用平滑激活函数时。
  2. 论文对比了将物理信息神经网络作为显式代数约束嵌入，以及使用外部自动微分计算导数的两种策略。
  3. 实验表明，外部函数评估方法通常优于显式代数约束嵌入，这可能与辅助变量和约束的初始化难度有关。

📝 摘要（中文）

本研究旨在评估将神经网络（NN）替代模型嵌入到非线性模型预测控制（NMPC）公式中的候选策略，这些公式受偏微分方程描述的系统约束，并通过直接转录（即同步方法）求解。本研究重点关注使用物理信息神经网络和物理信息卷积神经网络作为NMPC公式中的内部（替代）模型。一种策略是将NN模型嵌入为显式代数约束，利用代数建模语言（AML）的自动微分（AD）来评估导数。或者，可以向求解器提供通过NN训练所在机器学习环境的AD例程计算的、AML外部的导数。这项工作考虑的三个数值实验表明，即使对于高度非线性系统，当平滑激活函数与局部非线性求解器（例如Ipopt）结合使用时，用NN替代模型替换机械模型可能并不总是提供计算优势。此外，在这种情况下，NN替代模型的外部函数评估通常优于依赖于显式代数约束的嵌入策略，这可能是由于初始化显式代数重构引入的辅助变量和约束的困难。

🔬 方法详解

问题定义：论文旨在解决将物理信息神经网络（PINN）有效地嵌入到非线性模型预测控制（NMPC）框架中的问题，特别是针对由偏微分方程（PDE）描述的复杂系统。现有方法在利用PINN作为NMPC中的替代模型时，计算效率的提升并不总是显著，尤其是在使用平滑激活函数和局部非线性求解器时。此外，如何有效地处理PINN的导数计算也是一个挑战。

核心思路：论文的核心思路是对比不同的PINN嵌入策略，并分析其对NMPC求解效率的影响。具体来说，论文比较了将PINN作为显式代数约束嵌入，以及利用外部自动微分计算导数的两种方法。通过对比，旨在找到更有效的PINN嵌入策略，从而提升NMPC的计算效率。

技术框架：整体框架包括以下几个步骤：1) 使用物理信息神经网络（PINN）训练PDE系统的替代模型。2) 将训练好的PINN嵌入到NMPC公式中，分别采用显式代数约束和外部自动微分两种策略。3) 使用直接转录方法（即同步方法）求解NMPC问题。4) 对比不同嵌入策略的计算效率和求解精度。

关键创新：论文的关键创新在于对PINN嵌入NMPC的不同策略进行了系统的比较和分析。以往的研究主要集中在PINN的训练和应用，而较少关注其在NMPC中的嵌入方式对计算效率的影响。论文通过实验证明，外部函数评估方法通常优于显式代数约束嵌入，这为PINN在NMPC中的应用提供了新的思路。

关键设计：论文的关键设计包括：1) 使用物理信息神经网络（PINN）作为PDE系统的替代模型，PINN的结构和训练方法根据具体问题进行调整。2) 采用两种不同的PINN嵌入策略：显式代数约束和外部自动微分。3) 使用Ipopt等局部非线性求解器求解NMPC问题。4) 通过数值实验对比不同嵌入策略的计算效率和求解精度，并分析其原因。

📊 实验亮点

实验结果表明，在平滑激活函数和局部非线性求解器（如Ipopt）的条件下，用PINN替代机械模型并不总是能带来计算优势。更重要的是，外部函数评估方法通常优于显式代数约束嵌入，这可能是由于初始化辅助变量和约束的困难。这一发现为PINN在NMPC中的应用提供了重要的指导。

🎯 应用场景

该研究成果可应用于各种由偏微分方程描述的复杂系统的优化控制问题，例如化工过程控制、能源系统优化、飞行器控制等。通过使用物理信息神经网络作为替代模型，可以降低计算复杂度，提高控制系统的实时性。研究结果有助于开发更高效、更可靠的控制系统。

📄 摘要（原文）

This study aims to benchmark candidate strategies for embedding neural network (NN) surrogates in nonlinear model predictive control (NMPC) formulations that are subject to systems described with partial differential equations and that are solved via direct transcription (i.e., simultaneous methods). This study focuses on the use of physics-informed NNs and physics-informed convolutional NNs as the internal (surrogate) models within the NMPC formulation. One strategy embeds NN models as explicit algebraic constraints, leveraging the automatic differentiation (AD) of an algebraic modelling language (AML) to evaluate the derivatives. Alternatively, the solver can be provided with derivatives computed external to the AML via the AD routines of the machine learning environment the NN is trained in. The three numerical experiments considered in this work reveal that replacing mechanistic models with NN surrogates may not always offer computational advantages when smooth activation functions are used in conjunction with a local nonlinear solver (e.g., Ipopt), even with highly nonlinear systems. Moreover, in this context, the external function evaluation of the NN surrogates often outperforms the embedding strategies that rely on explicit algebraic constraints, likely due to the difficulty in initializing the auxiliary variables and constraints introduced by explicit algebraic reformulations.