Inverse RL Scene Dynamics Learning for Nonlinear Predictive Control in Autonomous Vehicles

📄 arXiv: 2504.01336v1 📥 PDF

作者: Sorin Grigorescu, Mihai Zaha

分类: cs.RO, cs.LG

发布日期: 2025-04-02

备注: 21 pages, 14 figures, journal paper

期刊: IEEE Transactions on Neural Networks and Learning Systems, 2025

DOI: 10.1109/TNNLS.2025.3549816

💡 一句话要点

提出基于逆强化学习的场景动态学习方法，用于自动驾驶车辆的非线性预测控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 非线性预测控制 逆强化学习 场景动态学习 深度学习

📋 核心要点

  1. 现有自动驾驶方法难以准确预测复杂场景下的车辆行为，导致控制效果不佳。
  2. 该论文提出DL-NMPC-SD，利用深度学习从时序感知数据中学习场景动态，从而提升预测精度。
  3. 实验表明，DL-NMPC-SD在虚拟环境和真实道路测试中均优于DWA等基线方法。

📝 摘要（中文）

本文提出了一种基于深度学习的非线性模型预测控制器，该控制器结合了场景动态（DL-NMPC-SD），用于自动导航。DL-NMPC-SD利用先验的标称车辆模型，并结合从时序范围感知信息中学习到的场景动态模型。场景动态模型负责估计期望的车辆轨迹，并调整底层模型预测控制器使用的真实系统模型。我们建议将场景动态模型编码到深度神经网络的层中，该网络充当运行条件高阶状态空间的非线性逼近器。该模型基于范围感知观测和系统状态的时序序列进行学习，两者都由增强记忆组件集成。我们使用逆强化学习和贝尔曼最优性原理，通过改进的深度Q学习算法来训练我们的学习控制器，从而能够将期望状态轨迹估计为最优动作值函数。我们已经针对基线动态窗口法（DWA）以及两种最先进的端到端和强化学习方法评估了DL-NMPC-SD。性能已在三个实验中进行了测量：i）在我们的GridSim虚拟环境中，ii）使用我们的RovisLab AMTU（自主移动测试单元）平台在室内和室外导航任务中，以及iii）在公共道路上行驶的全尺寸自主测试车辆上。

🔬 方法详解

问题定义：自动驾驶车辆在复杂环境中的运动规划和控制面临挑战，传统方法难以准确预测周围环境和其他车辆的行为，导致规划的轨迹并非最优，甚至可能发生碰撞。现有方法通常依赖于简化的环境模型，无法充分捕捉场景的动态变化。

核心思路：该论文的核心思路是利用深度学习从历史的感知数据中学习场景的动态模型，并将其融入到非线性模型预测控制（NMPC）中。通过学习场景动态，控制器可以更好地预测未来状态，从而规划出更安全、更高效的轨迹。

技术框架：DL-NMPC-SD方法包含以下主要模块：1) 标称车辆模型：提供车辆的基本动力学模型。2) 场景动态模型：使用深度神经网络学习场景的动态变化，输入为时序范围感知信息和系统状态，输出为期望的车辆轨迹。3) 增强记忆组件：用于存储和管理历史的感知数据和系统状态。4) 非线性模型预测控制器（NMPC）：基于标称车辆模型和场景动态模型，进行轨迹规划和控制。5) 逆强化学习（IRL）：用于训练场景动态模型，目标是学习一个奖励函数，使得期望的车辆轨迹是最优的。

关键创新：该论文的关键创新在于将逆强化学习和深度学习相结合，用于学习场景动态模型。传统的NMPC方法通常依赖于人工设计的环境模型，而该方法可以自动从数据中学习环境模型，从而更好地适应复杂场景。此外，使用增强记忆组件可以有效地利用历史数据，提高学习效率。

关键设计：场景动态模型采用深度神经网络，具体结构未知，但强调了其作为高阶状态空间的非线性逼近器的作用。训练过程中，使用改进的深度Q学习算法，基于贝尔曼最优性原理，学习最优的动作值函数，从而估计期望的状态轨迹。损失函数的设计未知，但推测与逆强化学习中的奖励函数学习相关。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DL-NMPC-SD在GridSim虚拟环境、室内外导航任务以及公共道路测试中均优于基线方法，包括DWA以及两种端到端和强化学习方法。具体的性能提升数据未知，但强调了在各种场景下的有效性。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，包括城市道路、高速公路和越野环境。通过学习场景动态，可以提高自动驾驶车辆在复杂环境中的安全性和效率。此外，该方法还可以应用于机器人导航、无人机控制等领域，具有广泛的应用前景。

📄 摘要（原文）

This paper introduces the Deep Learning-based Nonlinear Model Predictive Controller with Scene Dynamics (DL-NMPC-SD) method for autonomous navigation. DL-NMPC-SD uses an a-priori nominal vehicle model in combination with a scene dynamics model learned from temporal range sensing information. The scene dynamics model is responsible for estimating the desired vehicle trajectory, as well as to adjust the true system model used by the underlying model predictive controller. We propose to encode the scene dynamics model within the layers of a deep neural network, which acts as a nonlinear approximator for the high order state-space of the operating conditions. The model is learned based on temporal sequences of range sensing observations and system states, both integrated by an Augmented Memory component. We use Inverse Reinforcement Learning and the Bellman optimality principle to train our learning controller with a modified version of the Deep Q-Learning algorithm, enabling us to estimate the desired state trajectory as an optimal action-value function. We have evaluated DL-NMPC-SD against the baseline Dynamic Window Approach (DWA), as well as against two state-of-the-art End2End and reinforcement learning methods, respectively. The performance has been measured in three experiments: i) in our GridSim virtual environment, ii) on indoor and outdoor navigation tasks using our RovisLab AMTU (Autonomous Mobile Test Unit) platform and iii) on a full scale autonomous test vehicle driving on public roads.