Dropout MPC: An Ensemble Neural MPC Approach for Systems with Learned Dynamics

📄 arXiv: 2406.02497v1 📥 PDF

作者: Spyridon Syntakas, Kostas Vlachos

分类: eess.SY, cs.AI, cs.LG, cs.RO

发布日期: 2024-06-04

💡 一句话要点

提出Dropout MPC，一种基于集成神经网络MPC方法，用于学习动力学系统的不确定性控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模型预测控制 神经网络 蒙特卡洛Dropout 集成学习 不确定性建模

📋 核心要点

  1. 数据驱动控制中神经网络被广泛应用，但其泛化性和对真实系统动力学的近似程度有待考量，尤其是在扰动和不确定性存在时。
  2. Dropout MPC通过蒙特卡洛dropout在学习模型上进行采样，构建集成预测控制器，通过加权投票提升控制的鲁棒性。
  3. 该方法在设计上能够估计未来不确定性，实现谨慎控制，并通过移动机械臂导航实验验证了其有效性。

📝 摘要（中文）

本文提出Dropout MPC，一种新颖的基于采样的集成神经网络MPC算法，该算法在学习的系统模型上采用蒙特卡洛dropout技术。闭环基于一组预测控制器，这些控制器在每个时间步同时用于轨迹优化。集成的每个成员都基于加权投票方案影响控制输入，因此通过采用学习的系统动力学的不同实现，神经控制在设计上变得更加可靠。该方法的另一个优点是它提供了一种通过设计来估计未来不确定性的方法，从而实现谨慎控制。虽然该方法总体上针对具有复杂动力学的不确定系统，但在这些系统中很难推断出从第一性原理导出的模型，但为了展示该应用，我们利用从真实移动机械手中收集的实验室数据，并在仿真中使用所提出的算法进行机器人导航。

🔬 方法详解

问题定义：论文旨在解决基于学习动力学模型的模型预测控制（MPC）在不确定性环境中表现不佳的问题。现有方法依赖于单个神经网络模型，容易受到模型误差和泛化能力不足的影响，导致控制性能下降，甚至系统不稳定。特别是在系统动力学复杂且难以精确建模的情况下，这种问题更为突出。

核心思路：Dropout MPC的核心思路是利用蒙特卡洛dropout技术，在训练好的神经网络模型中引入随机性，从而生成多个不同的模型样本（即一个模型集成）。这些模型样本代表了对系统动力学不确定性的不同估计。通过集成这些模型样本的预测结果，并采用加权投票的方式确定控制输入，可以有效降低模型误差的影响，提高控制的鲁棒性。

技术框架：Dropout MPC的整体框架如下：1) 数据采集：从真实系统中采集数据，用于训练神经网络模型。2) 模型训练：使用采集的数据训练一个神经网络模型，用于近似系统动力学。3) 蒙特卡洛Dropout：在训练好的神经网络模型中启用dropout，并在推理阶段多次采样，生成一个模型集成。4) 预测控制：对于每个模型样本，使用MPC算法计算最优控制序列。5) 控制输入融合：根据每个模型样本的预测结果，采用加权投票的方式确定最终的控制输入。6) 系统执行：将控制输入作用于真实系统，并重复上述步骤。

关键创新：Dropout MPC的关键创新在于将蒙特卡洛dropout技术与模型预测控制相结合，从而实现对系统动力学不确定性的建模和控制。与传统的基于单个模型的MPC方法相比，Dropout MPC能够更好地应对模型误差和泛化能力不足的问题，提高控制的鲁棒性和可靠性。此外，该方法还提供了一种估计未来不确定性的方法，从而可以实现更加谨慎的控制策略。

关键设计：Dropout MPC的关键设计包括：1) Dropout率：dropout率的选择会影响模型集成的多样性和预测精度。需要根据具体问题进行调整。2) 模型集成大小：模型集成的大小会影响计算复杂度和控制性能。需要进行权衡。3) 加权投票方案：可以根据每个模型样本的预测误差或置信度来确定权重。4) MPC参数：MPC的预测时域、控制时域和代价函数需要根据具体问题进行调整。

📊 实验亮点

论文在真实的移动机械臂平台上进行了实验验证，结果表明，Dropout MPC能够有效地提高机器人的导航性能，尤其是在存在干扰和不确定性的情况下。虽然摘要中没有给出具体的性能数据和对比基线，但强调了该方法在实际应用中的可行性和有效性。未来的工作可以进一步量化Dropout MPC的性能提升，并与其他先进的MPC方法进行比较。

🎯 应用场景

Dropout MPC适用于各种具有复杂动力学和不确定性的系统，例如机器人导航、自动驾驶、飞行器控制、过程控制等。该方法能够提高控制系统的鲁棒性和可靠性，降低对精确模型的需求，从而简化系统设计和部署。未来，该方法可以进一步扩展到其他控制领域，并与其他不确定性建模方法相结合，以实现更高级的控制性能。

📄 摘要（原文）

Neural networks are lately more and more often being used in the context of data-driven control, as an approximate model of the true system dynamics. Model Predictive Control (MPC) adopts this practise leading to neural MPC strategies. This raises a question of whether the trained neural network has converged and generalized in a way that the learned model encapsulates an accurate approximation of the true dynamic model of the system, thus making it a reliable choice for model-based control, especially for disturbed and uncertain systems. To tackle that, we propose Dropout MPC, a novel sampling-based ensemble neural MPC algorithm that employs the Monte-Carlo dropout technique on the learned system model. The closed loop is based on an ensemble of predictive controllers, that are used simultaneously at each time-step for trajectory optimization. Each member of the ensemble influences the control input, based on a weighted voting scheme, thus by employing different realizations of the learned system dynamics, neural control becomes more reliable by design. An additional strength of the method is that it offers by design a way to estimate future uncertainty, leading to cautious control. While the method aims in general at uncertain systems with complex dynamics, where models derived from first principles are hard to infer, to showcase the application we utilize data gathered in the laboratory from a real mobile manipulator and employ the proposed algorithm for the navigation of the robot in simulation.