Safe Output Feedback Improvement with Baselines

📄 arXiv: 2409.16041v1 📥 PDF

作者: Ruoqi Zhang, Per Mattsson, Dave Zachariah

分类: eess.SY

发布日期: 2024-09-24

备注: Accepted by The 63rd IEEE Conference on Decision and Control

💡 一句话要点

提出基于基线遗憾的输出反馈改进方法，解决数据驱动控制中的保守性问题。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 数据驱动控制 鲁棒控制 基线遗憾 输出反馈 模型参考控制

📋 核心要点

  1. 传统min-max控制方法在数据不充分时易产生过于保守的控制器，限制了性能。
  2. 通过引入基线遗憾概念，在模型不确定性下最小化基线遗憾，实现更安全、更少保守的控制器改进。
  3. 提出的两步法首先辨识系统不确定性，然后基于模型参考控制设计控制器，并通过数值实验验证了有效性。

📝 摘要（中文）

在数据驱动的控制设计中，一个重要的问题是如何处理由于有限和噪声数据带来的不确定性。一种方法是使用min-max方法，旨在最小化最坏情况下的某些设计标准。然而，基于这种方法的策略可能导致过于保守的控制器。为了克服这个问题，我们应用了基线遗憾的思想，并且发现最小化模型不确定性下的基线遗憾可以保证安全的控制器改进，同时减少保守性和结果控制器的方差。为了例证基线控制器的使用，我们专注于输出反馈设置，并提出了一种两步控制设计方法：首先，通过基于有限脉冲响应模型的data-driven系统辨识方法构建不确定性集合；然后，使用基于模型参考控制的控制设计准则。为了有效地解决基线遗憾优化问题，我们使用准则的凸近似，并在优化中应用情景方法。数值例子表明，包含基线遗憾确实提高了性能并降低了结果控制器的方差。

🔬 方法详解

问题定义：论文旨在解决数据驱动控制设计中，由于数据有限和噪声导致模型不确定性，进而使得传统min-max方法设计的控制器过于保守的问题。现有方法在追求鲁棒性的同时，牺牲了控制器的性能，导致实际应用受限。

核心思路：论文的核心思路是引入“基线遗憾”的概念。基线遗憾是指当前控制策略相对于一个预先设定的基线控制策略的性能损失。通过最小化在模型不确定性下的基线遗憾，可以保证新的控制器至少比基线控制器好，从而避免了完全从零开始设计可能导致的保守性问题。这种方法允许在保证安全性的前提下，更积极地探索性能更好的控制器。

技术框架：论文提出的控制设计方法主要包含两个阶段： 1. 系统辨识阶段：利用数据驱动的方法，基于有限脉冲响应（FIR）模型，构建系统的不确定性集合。该集合描述了系统模型可能存在的范围。 2. 控制设计阶段：基于模型参考控制（Model Reference Control）的准则，设计控制器。目标是最小化在不确定性集合下的基线遗憾。为了解决优化问题，论文采用了凸近似和情景方法（Scenario Approach）。

关键创新：论文的关键创新在于将基线遗憾的概念引入到鲁棒控制设计中。与传统的min-max方法直接最小化最坏情况下的性能指标不同，该方法最小化的是相对于基线控制器的性能损失。这种方法能够在保证安全性的前提下，降低控制器的保守性，并减小控制器方差。

关键设计： 1. 基线控制器的选择：基线控制器的性能直接影响最终控制器的性能。选择一个合理的基线控制器至关重要。 2. 不确定性集合的构建：基于FIR模型进行系统辨识，并构建包含系统真实模型的置信区域。 3. 凸近似：为了高效地解决基线遗憾优化问题，论文对控制设计准则进行了凸近似，使其能够使用凸优化算法进行求解。 4. 情景方法：为了处理不确定性集合，论文采用了情景方法，将无限维的优化问题转化为有限维的优化问题。

📊 实验亮点

数值实验表明，与传统的min-max方法相比，基于基线遗憾的控制设计方法能够显著提高控制器的性能，并降低控制器的方差。具体而言，实验结果显示，在相同的鲁棒性约束下，新方法设计的控制器能够实现更高的跟踪精度和更快的响应速度，同时对噪声和干扰的鲁棒性也得到了提升。

🎯 应用场景

该研究成果可应用于各种需要数据驱动控制设计的领域，例如机器人控制、自动驾驶、过程控制等。通过降低控制器的保守性，可以提高系统的性能和效率，并减少对精确系统模型的依赖。未来，该方法有望在资源受限或模型不确定的复杂系统中得到广泛应用。

📄 摘要（原文）

In data-driven control design, an important problem is to deal with uncertainty due to limited and noisy data. One way to do this is to use a min-max approach, which aims to minimize some design criteria for the worst-case scenario. However, a strategy based on this approach can lead to overly conservative controllers. To overcome this issue, we apply the idea of baseline regret, and it is seen that minimizing the baseline regret under model uncertainty can guarantee safe controller improvement with less conservatism and variance in the resulting controllers. To exemplify the use of baseline controllers, we focus on the output feedback setting and propose a two-step control design method; first, an uncertainty set is constructed by a data-driven system identification approach based on finite impulse response models; then a control design criterion based on model reference control is used. To solve the baseline regret optimization problem efficiently, we use a convex approximation of the criterion and apply the scenario approach in optimization. The numerical examples show that the inclusion of baseline regret indeed improves the performance and reduces the variance of the resulting controller.