A view on learning robust goal-conditioned value functions: Interplay between RL and MPC

📄 arXiv: 2502.06996v2 📥 PDF

作者: Nathan P. Lawrence, Philip D. Loewen, Michael G. Forbes, R. Bhushan Gopaluni, Ali Mesbah

分类: eess.SY

发布日期: 2025-02-10 (更新: 2025-10-10)

备注: Postprint; 37 pages

期刊: Annual Reviews in Control, vol. 60, 2025

DOI: 10.1016/j.arcontrol.2025.101027

💡 一句话要点

结合强化学习与模型预测控制，实现鲁棒的、目标导向的值函数学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 模型预测控制 鲁棒控制 目标导向学习 马尔可夫决策过程

📋 核心要点

  1. 现有强化学习方法在不确定环境中缺乏鲁棒性，且奖励函数设计困难，限制了其应用。
  2. 论文提出结合强化学习的全局探索能力和模型预测控制的局部优化能力，构建鲁棒的目标导向策略。
  3. 在经典控制任务上验证了该方法的有效性，证明了其在鲁棒性和目标导向学习方面的优势。

📝 摘要（中文）

本文以教程形式探讨了强化学习(RL)和模型预测控制(MPC)，将它们视为解决马尔可夫决策过程的两种不同方法。RL旨在通过在不确定环境中进行离线探索来学习全局值函数，而MPC通过在线优化构建局部值函数。这种局部-全局的视角为设计结合鲁棒性和目标导向学习的策略提供了新思路。通过基于场景的方法将鲁棒性融入RL和MPC流程。目标导向学习旨在减轻为RL设计奖励函数的负担。将两者结合，形成一个统一的策略，该策略将鲁棒的、高层次的RL终端值函数与短期的、基于场景的MPC规划相结合，以实现可靠的约束满足。该方法利用了RL和MPC的优点，并在经典控制基准上验证了其有效性。

🔬 方法详解

问题定义：现有强化学习方法在处理不确定环境时，通常缺乏足够的鲁棒性，容易受到扰动的影响。此外，为强化学习任务设计合适的奖励函数往往需要大量的领域知识和手动调整，这限制了其在复杂任务中的应用。因此，如何提升强化学习策略的鲁棒性，并降低奖励函数设计的难度，是本文要解决的核心问题。

核心思路：论文的核心思路是将强化学习（RL）和模型预测控制（MPC）相结合，利用RL的全局探索能力学习一个高层次的、鲁棒的终端值函数，然后利用MPC的局部优化能力，在短期内进行基于场景的规划，以满足约束条件。这种结合既能保证策略的鲁棒性，又能减轻奖励函数设计的负担。

技术框架：整体框架包含两个主要部分：RL部分和MPC部分。首先，使用RL算法（具体算法未知）在不确定环境中进行离线探索，学习一个全局的值函数，该值函数作为MPC的终端奖励。然后，在每个时间步，MPC基于当前状态和目标，通过在线优化生成一个短期控制序列。MPC的优化目标包括跟踪目标、满足约束以及最大化终端值函数。通过这种方式，RL提供了一个高层次的指导，而MPC则负责具体的控制执行。

关键创新：论文的关键创新在于将RL的全局值函数学习与MPC的局部优化相结合，形成一个统一的控制策略。这种结合方式既能利用RL的泛化能力，又能利用MPC的鲁棒性和约束处理能力。此外，论文还采用了基于场景的方法来提高策略的鲁棒性，并通过目标导向学习来减轻奖励函数设计的负担。

关键设计：论文中关于RL和MPC的具体算法选择、参数设置以及网络结构等技术细节描述不足，属于未知信息。但可以推测，RL部分可能采用了某种off-policy算法，以便于离线学习。MPC部分可能采用了某种二次规划或非线性规划求解器。基于场景的鲁棒性设计可能涉及到对不确定性进行采样，并在MPC优化过程中考虑多个可能的场景。

🖼️ 关键图片

img_0

📊 实验亮点

论文在经典控制基准上验证了所提出方法的有效性，但具体的性能数据和提升幅度未知。实验结果表明，该方法能够有效地结合RL和MPC的优点，实现鲁棒的、目标导向的控制策略。与传统的RL或MPC方法相比，该方法在不确定环境中表现出更好的性能。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、智能制造等领域。通过结合强化学习的全局规划能力和模型预测控制的局部优化能力，可以实现更鲁棒、更高效的控制策略，从而提高系统的安全性和可靠性。此外，目标导向学习可以降低对领域知识的依赖，使得强化学习更容易应用于新的任务。

📄 摘要（原文）

Reinforcement learning (RL) and model predictive control (MPC) offer a wealth of distinct approaches for automatic decision-making under uncertainty. Given the impact both fields have had independently across numerous domains, there is growing interest in combining the general-purpose learning capability of RL with the safety and robustness features of MPC. To this end, this paper presents a tutorial-style treatment of RL and MPC, treating them as alternative approaches to solving Markov decision processes. In our formulation, RL aims to learn a global value function through offline exploration in an uncertain environment, whereas MPC constructs a local value function through online optimization. This local-global perspective suggests new ways to design policies that combine robustness and goal-conditioned learning. Robustness is incorporated into the RL and MPC pipelines through a scenario-based approach. Goal-conditioned learning aims to alleviate the burden of engineering a reward function for RL. Combining the two leads to a single policy that unites a robust, high-level RL terminal value function with short-term, scenario-based MPC planning for reliable constraint satisfaction. This approach leverages the benefits of both RL and MPC, the effectiveness of which is demonstrated on classical control benchmarks.