Beyond Quadratic Costs in LQR: Bregman Divergence Control

作者: Babak Hassibi, Joudi Hajar, Reza Ghane

分类: eess.SY, math.OC

发布日期: 2025-05-01

💡 一句话要点

提出基于Bregman散度的LQR控制，扩展非二次代价函数在控制领域的应用

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 线性二次调节器 LQR控制 Bregman散度 凸优化 非二次代价函数

📋 核心要点

1. 传统LQR控制主要依赖二次代价函数，限制了控制器的灵活性和适用范围，难以处理具有特定结构或属性的控制需求。
2. 该论文提出使用Bregman散度构造非二次凸代价函数，并证明了其在LQR框架下的适用性，从而扩展了控制器的设计空间。
3. 提出的方法能够实现无限时域的最优控制，并保证稳定性，适用于安全控制、稀疏控制和bang-bang控制等多种场景。

📝 摘要（中文）

过去几十年，非二次凸代价函数的使用彻底改变了信号处理、机器学习和统计学领域，使得定制具有期望结构和属性的解决方案成为可能。然而，控制领域仍然主要使用二次代价函数，这主要是因为确定“价值函数”（即最优预期未来代价）在计算上变得难以处理，尤其是在考虑一般凸代价函数时。因此，从业者通常求助于启发式方法和近似，例如仅考虑未来几步的模型预测控制。在二次代价函数的情况下，价值函数可以通过求解Riccati方程轻松确定。本文考虑一类特殊的由Bregman散度构造的凸代价函数，并展示了如何通过适当的选择，完全扩展为二次代价函数开发的框架。由此产生的最优控制器是无限时域的，具有稳定性保证，并具有状态反馈或估计状态反馈律。与二次控制器相比，它们表现出更广泛的行为，因为反馈律是非线性的。该方法可以应用于几个感兴趣的案例，包括安全控制、稀疏控制和bang-bang控制。

🔬 方法详解

问题定义：传统线性二次调节器(LQR)主要依赖于二次代价函数，这限制了其在复杂控制问题中的应用。实际应用中，往往需要非二次的代价函数来满足特定的控制目标，例如安全控制、稀疏控制等。然而，直接使用非二次代价函数会导致价值函数难以计算，进而难以设计最优控制器。现有方法如模型预测控制(MPC)虽然可以处理非二次代价，但通常是次优的，且依赖于有限时域的近似。

核心思路：该论文的核心思路是利用Bregman散度构造一类特殊的凸代价函数，并证明在这种代价函数下，LQR框架仍然适用。Bregman散度具有良好的数学性质，可以使得价值函数的计算变得可行，从而可以设计出无限时域的最优控制器。通过选择合适的Bregman散度，可以实现不同的控制目标，例如通过选择合适的散度函数，可以惩罚状态或控制变量的某些特定模式，从而实现稀疏控制或安全控制。

技术框架：该论文提出的控制框架仍然基于LQR的框架，但将二次代价函数替换为基于Bregman散度的代价函数。整体流程包括：1) 定义线性动态系统；2) 选择合适的Bregman散度函数，构造代价函数；3) 推导价值函数的表达式，并求解最优控制律；4) 分析控制系统的稳定性。该框架的关键在于证明了在Bregman散度代价函数下，价值函数仍然可以显式地计算出来，从而避免了复杂的优化过程。

关键创新：该论文的关键创新在于将Bregman散度引入到LQR控制框架中，从而扩展了代价函数的选择范围，使得可以设计出具有更丰富行为的控制器。与传统的LQR控制器相比，基于Bregman散度的控制器可以实现非线性的反馈控制律，从而更好地适应复杂的控制任务。此外，该方法可以保证无限时域的稳定性和最优性，克服了MPC等方法的局限性。

关键设计：关键的设计在于Bregman散度函数的选择。不同的Bregman散度函数对应于不同的控制目标。例如，可以使用KL散度来实现稀疏控制，使用Itakura-Saito散度来实现对噪声的鲁棒性。此外，还需要仔细分析价值函数的表达式，并设计合适的算法来求解最优控制律。论文中给出了几种常用的Bregman散度函数及其对应的控制效果。

🖼️ 关键图片

📊 实验亮点

论文通过理论分析证明了基于Bregman散度的LQR控制器的稳定性和最优性。虽然摘要中没有明确提及实验结果，但指出该方法适用于安全控制、稀疏控制和bang-bang控制等多种场景，暗示了其在这些场景下的有效性。未来的工作可以进一步通过仿真和实际实验来验证该方法的性能，并与其他控制方法进行比较。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、电力系统等领域。例如，在机器人控制中，可以利用Bregman散度设计安全控制器，避免机器人与环境发生碰撞；在自动驾驶中，可以设计稀疏控制器，减少车辆的能量消耗；在电力系统中，可以设计鲁棒控制器，提高系统的稳定性和可靠性。该研究为解决复杂控制问题提供了一种新的思路和方法。

📄 摘要（原文）

In the past couple of decades, the use of non-quadratic" convex cost functions has revolutionized signal processing, machine learning, and statistics, allowing one to customize solutions to have desired structures and properties. However, the situation is not the same in control where the use of quadratic costs still dominates, ostensibly because determining thevalue function", i.e., the optimal expected cost-to-go, which is critical to the construction of the optimal controller, becomes computationally intractable as soon as one considers general convex costs. As a result, practitioners often resort to heuristics and approximations, such as model predictive control that only looks a few steps into the future. In the quadratic case, the value function is easily determined by solving Riccati equations. In this work, we consider a special class of convex cost functions constructed from Bregman divergence and show how, with appropriate choices, they can be used to fully extend the framework developed for the quadratic case. The resulting optimal controllers are infinite horizon, come with stability guarantees, and have state-feedback, or estimated state-feedback, laws. They exhibit a much wider range of behavior than their quadratic counterparts since the feedback laws are nonlinear. The approach can be applied to several cases of interest, including safety control, sparse control, and bang-bang control.