Sub-linear Regret in Adaptive Model Predictive Control

📄 arXiv: 2310.04842v1 📥 PDF

作者: Damianos Tranos, Alexandre Proutiere

分类: eess.SY, cs.AI

发布日期: 2023-10-07

💡 一句话要点

提出STT-MPC以解决不确定线性系统的自适应控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自适应控制 模型预测控制 不确定性系统 最小二乘估计 多面体管道 控制约束 渐近稳定性

📋 核心要点

  1. 现有的自适应模型预测控制方法在面对不确定线性系统时，难以有效处理状态和输入约束。
  2. STT-MPC算法结合了确定性等价原理和多面体管道，通过最小二乘估计推断系统动态，解决了控制问题。
  3. 实验结果表明，STT-MPC的期望遗憾度不超过$O(T^{1/2 + ε})$，展示了其在不确定性环境中的优越性能。

📝 摘要（中文）

本文考虑了在具有加性干扰和状态及输入约束的不确定线性系统中进行自适应模型预测控制（MPC）的问题。我们提出了一种在线算法STT-MPC（自调节基于管道的模型预测控制），该算法结合了确定性等价原理和多面体管道。在每个步骤中，STT-MPC使用最小二乘估计器推断系统动态，并通过解决MPC问题应用控制器。使用多面体管道确保在不确定性下满足状态和输入约束，并保持递归可行性和渐近稳定性。我们分析了该算法的遗憾度，并证明STT-MPC的期望遗憾度不超过$O(T^{1/2 + ε})$，其中$ε extin{∈}(0,1)$是调节算法持续激励成分的设计参数。我们的结果依赖于最近提出的灵敏度指数衰减特性，且在这一背景下是首次提出的。我们通过简单的数值示例展示了算法的性能。

🔬 方法详解

问题定义：本文解决的是在不确定线性系统中进行自适应模型预测控制的问题，现有方法在处理状态和输入约束时存在局限性，尤其是在面对加性干扰时。

核心思路：STT-MPC算法的核心思路是结合确定性等价原理与多面体管道，利用最小二乘估计器实时推断系统动态，从而在不确定性条件下进行有效控制。

技术框架：该算法的整体架构包括三个主要模块：首先，使用最小二乘估计器推断系统动态；其次，基于这些估计结果解决MPC问题；最后，应用多面体管道确保状态和输入约束的满足。

关键创新：STT-MPC的主要创新在于首次在不确定性环境下实现了期望遗憾度的理论界限，且该算法的设计考虑了持续激励成分的调节，显著提升了控制性能。

关键设计：在算法设计中，关键参数包括调节算法持续激励成分的设计参数$ε$，该参数的选择直接影响算法的收敛速度和控制效果。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，STT-MPC算法在面对不确定性时，其期望遗憾度不超过$O(T^{1/2 + ε})$，相较于传统控制方法，表现出更好的稳定性和控制效果，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和工业过程控制等。STT-MPC算法能够在不确定性环境中有效地满足控制约束，具有广泛的实际价值和应用前景，未来可能推动智能控制系统的发展。

📄 摘要（原文）

We consider the problem of adaptive Model Predictive Control (MPC) for uncertain linear-systems with additive disturbances and with state and input constraints. We present STT-MPC (Self-Tuning Tube-based Model Predictive Control), an online algorithm that combines the certainty-equivalence principle and polytopic tubes. Specifically, at any given step, STT-MPC infers the system dynamics using the Least Squares Estimator (LSE), and applies a controller obtained by solving an MPC problem using these estimates. The use of polytopic tubes is so that, despite the uncertainties, state and input constraints are satisfied, and recursive-feasibility and asymptotic stability hold. In this work, we analyze the regret of the algorithm, when compared to an oracle algorithm initially aware of the system dynamics. We establish that the expected regret of STT-MPC does not exceed $O(T^{1/2 + ε})$, where $ε\in (0,1)$ is a design parameter tuning the persistent excitation component of the algorithm. Our result relies on a recently proposed exponential decay of sensitivity property and, to the best of our knowledge, is the first of its kind in this setting. We illustrate the performance of our algorithm using a simple numerical example.