Adaptive Uncertainty Quantification for Scenario-based Control Using Meta-learning of Bayesian Neural Networks

📄 arXiv: 2407.14492v1 📥 PDF

作者: Yajie Bao, Javad Mohammadpour Velni

分类: eess.SY

发布日期: 2024-07-19

备注: Accepted by 2024 Modeling, Estimation and Control Conference. This work was done during the PhD period of the first author

💡 一句话要点

提出基于元学习贝叶斯神经网络的自适应不确定性量化方法，用于提升基于场景控制的非线性系统性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 元学习 贝叶斯神经网络 不确定性量化 模型预测控制 场景控制

📋 核心要点

  1. 现有的基于学习和场景的MPC方法使用单一的时不变概率模型，难以准确描述时变不确定性。
  2. 本文提出利用元学习的贝叶斯神经网络，学习全局模型和更新规则，实时生成更精确的局部模型，用于场景生成。
  3. 实验结果表明，与传统方法相比，该方法能够提升基于场景的MPC控制性能，并保证轨迹安全性。

📝 摘要（中文）

本文提出了一种基于模型无关元学习（MAML）的贝叶斯神经网络（BNN）方法，用于自适应不确定性量化，并将其应用于非线性系统的自适应场景树模型预测控制设计，以提高控制性能。该方法学习一个全局BNN模型和一个更新规则，用于优化BNN模型。在每个时间步，更新规则将全局BNN模型转换为更精确的局部BNN模型。然后，自适应的局部模型用于生成场景，以进行sMPC设计。在场景生成中，加入概率安全证书，以确保生成的场景轨迹包含系统的真实轨迹，并且所有场景都以高概率满足约束。数值示例的闭环仿真实验表明，与仅使用离线学习的单个BNN模型相比，该方法可以提高基于场景的MPC的性能。

🔬 方法详解

问题定义：论文旨在解决基于场景的模型预测控制（sMPC）中，由于系统不确定性随时间变化，而传统方法采用离线学习的单一概率模型无法准确量化不确定性的问题。这种不准确的不确定性量化会导致sMPC性能下降，甚至违反安全约束。

核心思路：论文的核心思路是利用元学习（MAML）来学习一个能够快速适应新环境的贝叶斯神经网络（BNN）。通过元学习，模型不仅学习到一个全局的BNN模型，还学习到一个更新规则，该规则能够根据少量实时数据将全局模型快速调整为适应当前环境的局部模型。这样，就可以在每个时间步都获得更准确的不确定性量化，从而提高sMPC的性能。

技术框架：整体框架包含离线元学习阶段和在线自适应控制阶段。离线阶段，使用历史数据训练一个全局BNN模型和一个更新规则。在线阶段，在每个时间步，首先利用更新规则和少量实时数据将全局BNN模型调整为局部BNN模型，然后使用局部BNN模型生成场景，并将其用于sMPC控制器的设计。为了保证安全性，在场景生成过程中，还加入了概率安全证书。

关键创新：最重要的创新点在于将元学习应用于不确定性量化，并将其与sMPC相结合。与传统的离线学习方法相比，该方法能够自适应地调整不确定性模型，从而更准确地描述时变不确定性。此外，概率安全证书的引入进一步提高了控制系统的安全性。

关键设计：论文使用MAML算法来训练BNN模型和更新规则。BNN模型的结构未知，可以根据具体问题进行选择。损失函数包括预测误差和正则化项，用于防止过拟合。概率安全证书的设计基于切比雪夫不等式，用于保证生成的场景轨迹包含真实轨迹，并且所有场景都以高概率满足约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过数值仿真实验，验证了所提出方法的有效性。实验结果表明，与使用离线学习的单个BNN模型相比，该方法能够显著提高基于场景的MPC的控制性能。具体而言，该方法在保证安全性的前提下，能够更快地跟踪目标轨迹，并降低控制成本。性能提升的具体数值在论文中给出，但摘要中未明确提及。

🎯 应用场景

该研究成果可应用于各种存在时变不确定性的非线性系统的控制，例如自动驾驶、机器人导航、电力系统优化等。通过自适应地量化不确定性，可以提高控制系统的鲁棒性和安全性，降低系统风险，并提升整体性能。未来，该方法可以进一步扩展到更复杂的系统和环境，例如具有对抗性攻击的系统。

📄 摘要（原文）

Scenario-based optimization and control has proven to be an efficient approach to account for system uncertainty. In particular, the performance of scenario-based model predictive control (MPC) schemes depends on the accuracy of uncertainty quantification. However, current learning- and scenario-based MPC (sMPC) approaches employ a single timeinvariant probabilistic model (learned offline), which may not accurately describe time-varying uncertainties. Instead, this paper presents a model-agnostic meta-learning (MAML) of Bayesian neural networks (BNN) for adaptive uncertainty quantification that would be subsequently used for adaptive-scenario-tree model predictive control design of nonlinear systems with unknown dynamics to enhance control performance. In particular, the proposed approach learns both a global BNN model and an updating law to refine the BNN model. At each time step, the updating law transforms the global BNN model into more precise local BNN models in real time. The adapted local model is then used to generate scenarios for sMPC design at each time step. A probabilistic safety certificate is incorporated in the scenario generation to ensure that the trajectories of the generated scenarios contain the real trajectory of the system and that all the scenarios adhere to the constraints with a high probability. Experiments using closed-loop simulations of a numerical example demonstrate that the proposed approach can improve the performance of scenario-based MPC compared to using only one BNN model learned offline for all time steps.