Planning with Adaptive World Models for Autonomous Driving
作者: Arun Balajee Vasudevan, Neehar Peri, Jeff Schneider, Deva Ramanan
分类: cs.RO, cs.LG
发布日期: 2024-06-15 (更新: 2025-03-12)
备注: This project has been accepted to the International Conference on Robotics and Automation (ICRA) 2025. Project Page: https://arunbalajeev.github.io/world_models_planning/world_model_paper.html
💡 一句话要点
提出AdaptiveDriver，利用自适应世界模型提升自动驾驶规划性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自动驾驶 运动规划 世界模型 模型预测控制 图卷积神经网络
📋 核心要点
- 现有运动规划方法难以捕捉真实世界中多智能体交互的复杂性，尤其是在不同城市驾驶行为差异显著的情况下。
- 论文提出AdaptiveDriver，通过学习不同城市独特的驾驶行为模式，自适应地调整世界模型，从而提升规划性能。
- 实验表明，AdaptiveDriver在nuPlan基准测试中取得了SOTA结果，并在未见过的城市中表现出良好的泛化能力。
📝 摘要（中文）
运动规划对于复杂城市环境中的安全导航至关重要。传统的运动规划器(MP)通常使用CARLA等程序生成的模拟器进行评估，但这些合成基准无法捕捉真实世界的多智能体交互。nuPlan是一个新发布的MP基准，通过将真实驾驶日志与闭环仿真逻辑相结合，有效地将固定数据集转换为反应式模拟器，从而解决了这一限制。我们分析了nuPlan记录日志的特征，发现每个城市都有其独特的驾驶行为，这表明稳健的规划器必须适应不同的环境。我们使用BehaviorNet（一种图卷积神经网络(GCNN)）来学习建模这些独特的行为，该网络使用最近观察到的智能体历史记录中提取的特征来预测反应式智能体行为。BehaviorNet预测智能体运动控制器的参数，而不是像大多数预测器那样直接预测其时空轨迹。最后，我们提出了AdaptiveDriver，这是一个基于模型预测控制(MPC)的规划器，它展开以BehaviorNet的预测为条件的不同的世界模型。大量的实验表明，AdaptiveDriver在nuPlan闭环规划基准上取得了最先进的结果，在Test-14 Hard R-CLS上比之前的工作提高了2%，并且即使在从未见过的城市中进行评估时也能推广。
🔬 方法详解
问题定义：论文旨在解决自动驾驶运动规划中，现有方法难以适应不同城市驾驶行为差异的问题。现有方法通常依赖于程序生成的模拟器或固定的数据集，无法捕捉真实世界中复杂的多智能体交互，导致在实际场景中的性能下降。nuPlan基准虽然提供了闭环仿真，但如何有效利用其提供的真实驾驶数据，并针对不同城市进行自适应规划，仍然是一个挑战。
核心思路：论文的核心思路是学习不同城市的驾驶行为模式，并将其融入到运动规划过程中。具体而言，论文使用BehaviorNet来预测其他智能体的行为，并基于这些预测构建不同的世界模型。然后，AdaptiveDriver基于模型预测控制(MPC)框架，在这些世界模型中进行规划，从而实现对不同环境的自适应。
技术框架：AdaptiveDriver的整体框架包括以下几个主要模块：1) 数据收集与预处理：利用nuPlan数据集，提取智能体的历史轨迹和环境信息。2) BehaviorNet：使用图卷积神经网络(GCNN)学习不同城市的驾驶行为模式，并预测其他智能体的运动控制器参数。3) 世界模型构建：基于BehaviorNet的预测，构建不同的世界模型，每个世界模型代表一种可能的未来场景。4) 运动规划：使用模型预测控制(MPC)在不同的世界模型中进行规划，选择最优的轨迹。
关键创新：论文的关键创新在于：1) 使用BehaviorNet预测智能体的运动控制器参数，而不是直接预测轨迹，从而更好地捕捉驾驶行为的细微差异。2) 基于BehaviorNet的预测构建不同的世界模型，并在这些模型中进行规划，从而实现对不同环境的自适应。3) 将学习到的驾驶行为模式融入到MPC框架中，从而提高规划的鲁棒性和安全性。
关键设计：BehaviorNet使用图卷积神经网络(GCNN)来建模智能体之间的交互。GCNN的输入包括智能体的历史轨迹、速度、加速度等信息，以及周围环境的地图信息。GCNN的输出是智能体的运动控制器参数，例如目标速度、转向角等。损失函数包括轨迹预测误差和控制参数预测误差。MPC框架使用滚动优化策略，在每个时间步，基于当前状态和BehaviorNet的预测，选择最优的控制序列。
🖼️ 关键图片
📊 实验亮点
AdaptiveDriver在nuPlan闭环规划基准上取得了显著的性能提升。在Test-14 Hard R-CLS指标上，AdaptiveDriver比之前的工作提高了2%，达到了SOTA水平。此外，AdaptiveDriver在未见过的城市中也表现出良好的泛化能力，表明其学习到的驾驶行为模式具有一定的通用性。
🎯 应用场景
该研究成果可应用于自动驾驶车辆，提升其在复杂城市环境中的导航能力。通过学习不同城市的驾驶行为模式，自动驾驶车辆可以更好地理解其他交通参与者的意图，从而做出更安全、更合理的决策。此外，该方法还可以应用于交通仿真、交通管理等领域，为城市交通规划提供更准确的预测和评估。
📄 摘要（原文）
Motion planning is crucial for safe navigation in complex urban environments. Historically, motion planners (MPs) have been evaluated with procedurally-generated simulators like CARLA. However, such synthetic benchmarks do not capture real-world multi-agent interactions. nuPlan, a recently released MP benchmark, addresses this limitation by augmenting real-world driving logs with closed-loop simulation logic, effectively turning the fixed dataset into a reactive simulator. We analyze the characteristics of nuPlan's recorded logs and find that each city has its own unique driving behaviors, suggesting that robust planners must adapt to different environments. We learn to model such unique behaviors with BehaviorNet, a graph convolutional neural network (GCNN) that predicts reactive agent behaviors using features derived from recently-observed agent histories; intuitively, some aggressive agents may tailgate lead vehicles, while others may not. To model such phenomena, BehaviorNet predicts the parameters of an agent's motion controller rather than directly predicting its spacetime trajectory (as most forecasters do). Finally, we present AdaptiveDriver, a model-predictive control (MPC) based planner that unrolls different world models conditioned on BehaviorNet's predictions. Our extensive experiments demonstrate that AdaptiveDriver achieves state-of-the-art results on the nuPlan closed-loop planning benchmark, improving over prior work by 2% on Test-14 Hard R-CLS, and generalizes even when evaluated on never-before-seen cities.