NeuroSMPC: A Neural Network guided Sampling Based MPC for On-Road Autonomous Driving

📄 arXiv: 2310.13077v1 📥 PDF

作者: Kaustab Pal, Aditya Sharma, Mohd Omama, Parth N. Shah, K. Madhava Krishna

分类: cs.RO

发布日期: 2023-10-19

备注: Published in 2023 IEEE 19th International Conference on Automation Science and Engineering (CASE)

DOI: 10.1109/CASE56687.2023.10260513

💡 一句话要点

提出NeuroSMPC以解决动态环境下自主驾驶的实时控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自主驾驶 最优控制 时空卷积神经网络 动态环境 实时系统

📋 核心要点

  1. 现有基于采样的最优控制方法在动态环境中实时应用时面临计算时间过长的问题，难以适应复杂的道路场景。
  2. 论文提出了一种结合时空CNN的NeuroSMPC方法，通过预测最优控制均值来减少重采样，从而提高实时控制的效率。
  3. 在CARLA仿真环境中，NeuroSMPC在多个道路场景中表现出优于多个基线的性能，展示了其在实际应用中的潜力。

📝 摘要（中文）

本文展示了一种有效的方法，将数据驱动框架与基于采样的最优控制相结合，显著减少计算时间，以便在动态环境中实现实时自主驾驶。通过训练示例，时空卷积神经网络（CNN）学习预测有限时间内的最优控制均值，从而避免进一步的重采样，这一迭代过程使得基于采样的最优控制在实时应用中难以采用。围绕网络预测的最优均值生成控制样本，保持了样本多样性的优势，同时实现了避免多个动态障碍物的轨迹实时推出。3D CNN架构隐式学习场景中动态代理的未来轨迹，尽管没有显式的未来轨迹预测，仍能成功实现无碰撞导航。通过在CARLA中的闭环仿真，我们展示了在多个道路场景中相较于多个基线的性能提升，并通过在自定义自主驾驶平台（AutoDP）上的运行展示了系统的实际应用潜力。

🔬 方法详解

问题定义：本文旨在解决在动态环境中进行自主驾驶时，基于采样的最优控制方法计算时间过长的问题。这使得现有方法难以在实时设置中有效应用。

核心思路：论文的核心思路是利用时空卷积神经网络（CNN）预测有限时间内的最优控制均值，从而避免进一步的重采样。这种设计使得控制过程更加高效，适应动态环境。

技术框架：整体架构包括数据采集、时空CNN训练、控制样本生成和轨迹实时推出四个主要模块。首先，通过收集训练示例来训练CNN，然后利用训练好的模型预测控制均值，最后生成控制样本并实时推出轨迹。

关键创新：最重要的技术创新在于将时空CNN与基于采样的最优控制相结合，显著提高了实时控制的效率。这一方法与传统的重采样方法本质上不同，因为它通过预测均值来减少计算复杂性。

关键设计：关键设计包括CNN的网络结构和损失函数的选择。网络结构采用3D卷积层，以便更好地捕捉时空特征。损失函数则设计为最小化预测控制均值与实际控制之间的差异，以确保控制的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CARLA仿真中，NeuroSMPC在多个道路场景中表现出明显的性能提升，相较于多个基线方法，成功实现了更快的计算速度和更高的导航安全性，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提高实时控制的效率，NeuroSMPC能够在复杂的动态环境中实现安全、可靠的自主驾驶，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

In this paper we show an effective means of integrating data driven frameworks to sampling based optimal control to vastly reduce the compute time for easy adoption and adaptation to real time applications such as on-road autonomous driving in the presence of dynamic actors. Presented with training examples, a spatio-temporal CNN learns to predict the optimal mean control over a finite horizon that precludes further resampling, an iterative process that makes sampling based optimal control formulations difficult to adopt in real time settings. Generating control samples around the network-predicted optimal mean retains the advantage of sample diversity while enabling real time rollout of trajectories that avoids multiple dynamic obstacles in an on-road navigation setting. Further the 3D CNN architecture implicitly learns the future trajectories of the dynamic agents in the scene resulting in successful collision free navigation despite no explicit future trajectory prediction. We show performance gain over multiple baselines in a number of on-road scenes through closed loop simulations in CARLA. We also showcase the real world applicability of our system by running it on our custom Autonomous Driving Platform (AutoDP).