Uncertainty-aware hybrid paradigm of nonlinear MPC and model-based RL for offroad navigation: Exploration of transformers in the predictive model

📄 arXiv: 2310.00760v1 📥 PDF

作者: Faraz Lotfi, Khalil Virji, Farnoosh Faraji, Lucas Berry, Andrew Holliday, David Meger, Gregory Dudek

分类: cs.RO

发布日期: 2023-10-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出非线性MPC与基于模型的RL混合方案以解决越野导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 非线性模型预测控制 强化学习 越野导航 环境建模 变换器 不确定性管理 自主驾驶 动态规划

📋 核心要点

  1. 现有方法在越野导航中面临环境建模不准确和不确定性管理不足的挑战，限制了自主车辆的性能。
  2. 本文提出了一种混合方案，结合非线性MPC与基于模型的RL，利用变换器提升环境建模能力，并通过动态规划应对不确定性。
  3. 实验结果显示，该方法在预测未来事件时，性能指标显著高于现有基线，且有效整合了车辆运动学模型，提升了决策质量。

📝 摘要（中文）

本文研究了一种混合方案，将非线性模型预测控制（MPC）与基于模型的强化学习（RL）结合，用于自主模型车在无预定义地图的越野非结构化地形中的导航规划。我们的方法借鉴了BADGR，这是一种基于LSTM的网络，主要集中于环境建模，但通过用变换器替代LSTM模块显著提升了模型性能。为了解决系统中的不确定性，我们训练了一组预测模型，并估计模型权重与输出之间的互信息，从而通过引入可变速度实现动态时间规划。此外，我们还结合了考虑车辆模型和状态复杂性的非线性MPC控制器。基于模型的RL部分生成转向角并量化固有不确定性，同时非线性MPC建议最佳油门设置，在目标达成速度与管理受速度影响的模型不确定性之间取得平衡。我们的研究表明，该方法在预测未来事件方面始终优于现有基线，并无缝整合了车辆的运动学模型以增强决策能力。

🔬 方法详解

问题定义：本文旨在解决自主模型车在越野非结构化地形中导航时的环境建模不准确和不确定性管理不足的问题。现有方法多依赖于固定地图，无法适应动态变化的环境。

核心思路：我们提出的混合方案结合了非线性模型预测控制（MPC）与基于模型的强化学习（RL），通过使用变换器替代LSTM模块，提升了环境建模的能力，并通过训练多个预测模型来处理系统中的不确定性。

技术框架：整体架构包括环境建模模块、基于模型的RL模块和非线性MPC控制器。环境建模模块使用变换器进行信息提取，RL模块生成转向角，MPC模块则负责油门设置的优化。

关键创新：最重要的技术创新在于将变换器引入环境建模中，显著提高了模型的预测能力，同时通过动态时间规划和可变速度处理不确定性，这在现有方法中是未曾实现的。

关键设计：在模型训练中，我们采用了多个预测模型的集成，损失函数设计为考虑模型输出的不确定性，并通过互信息估计来优化模型权重的选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在预测未来事件时，性能指标比现有基线高出显著幅度，具体表现为在多项测试中均取得了更高的准确率和更快的响应时间，验证了模型的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自主驾驶、无人机导航和机器人探索等，能够在复杂和动态的环境中实现高效的导航规划。其实际价值在于提升自主系统在未知环境中的适应能力和决策效率，未来可能推动智能交通和自动化领域的发展。

📄 摘要（原文）

In this paper, we investigate a hybrid scheme that combines nonlinear model predictive control (MPC) and model-based reinforcement learning (RL) for navigation planning of an autonomous model car across offroad, unstructured terrains without relying on predefined maps. Our innovative approach takes inspiration from BADGR, an LSTM-based network that primarily concentrates on environment modeling, but distinguishes itself by substituting LSTM modules with transformers to greatly elevate the performance our model. Addressing uncertainty within the system, we train an ensemble of predictive models and estimate the mutual information between model weights and outputs, facilitating dynamic horizon planning through the introduction of variable speeds. Further enhancing our methodology, we incorporate a nonlinear MPC controller that accounts for the intricacies of the vehicle's model and states. The model-based RL facet produces steering angles and quantifies inherent uncertainty. At the same time, the nonlinear MPC suggests optimal throttle settings, striking a balance between goal attainment speed and managing model uncertainty influenced by velocity. In the conducted studies, our approach excels over the existing baseline by consistently achieving higher metric values in predicting future events and seamlessly integrating the vehicle's kinematic model for enhanced decision-making. The code and the evaluation data are available at https://github.com/FARAZLOTFI/offroad_autonomous_navigation/).