When Planners Meet Reality: How Learned, Reactive Traffic Agents Shift nuPlan Benchmarks

📄 arXiv: 2510.14677v1 📥 PDF

作者: Steffen Hagedorn, Luka Donkov, Aron Distelzweig, Alexandru P. Condurache

分类: cs.RO, cs.AI, cs.LG, cs.MA

发布日期: 2025-10-16

🔗 代码/项目: GITHUB

💡 一句话要点

引入SMART智能体，提升nuPlan自动驾驶规划器评估的真实性和可靠性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自动驾驶 规划器评估 交通仿真 智能交通智能体 闭环仿真

📋 核心要点

  1. 现有nuPlan评估依赖的IDM交通智能体过于简单，无法真实反映复杂交通交互，导致规划器评估存在偏差。
  2. 通过集成先进的SMART智能体到nuPlan，论文旨在提供更真实的闭环仿真环境，从而更准确地评估自动驾驶规划器。
  3. 实验表明，使用SMART智能体评估后，多数规划器性能下降，但在交互场景中表现出比预期更好的性能。

📝 摘要（中文）

在闭环仿真中评估自动驾驶规划器时，通常使用基于规则的交通智能体。这些智能体的行为过于简单和被动，可能掩盖规划器的缺陷并导致评估结果产生偏差。例如，广泛使用的IDM智能体只能跟随前车，无法对相邻车道的车辆做出反应，从而限制了对复杂交互能力的测试。本文通过将最先进的智能交通智能体模型SMART集成到nuPlan中来解决这个问题。这是首次在更真实的条件下评估规划器，并量化缩小仿真与现实差距后结论的变化。分析涵盖了14个最新的规划器和已建立的基线，结果表明，基于IDM的仿真会高估规划性能：几乎所有分数都有所下降。相反，许多规划器的交互性能优于之前的假设，甚至在多车道、交互密集的场景（如变道或转弯）中有所改善。在闭环中训练的方法表现出最好和最稳定的驾驶性能。然而，当在增强的极端场景中达到极限时，所有学习到的规划器都会突然退化，而基于规则的规划器则保持合理的行为。基于这些结果，建议将SMART反应式仿真作为nuPlan中新的标准闭环基准，并发布SMART智能体作为IDM的直接替代品。

🔬 方法详解

问题定义：现有自动驾驶规划器在nuPlan等仿真平台上的评估，依赖于基于规则的交通智能体（如IDM）。这些智能体行为简单，缺乏真实交通场景中的交互性和反应性，导致规划器在仿真环境中的表现可能被高估，无法准确反映其在真实世界中的性能。尤其是在需要复杂交互的场景（如变道、超车）中，IDM智能体的局限性更加明显。

核心思路：论文的核心思路是使用更先进、更真实的交通智能体模型SMART，替代nuPlan中原有的IDM智能体。SMART智能体能够模拟更复杂的交通行为，包括对周围车辆的反应、车道保持、变道等，从而提供更接近真实世界的仿真环境。通过在这种更真实的仿真环境中评估自动驾驶规划器，可以更准确地了解其性能，并发现潜在的问题。

技术框架：该研究的主要技术框架包括：1) 将预训练的SMART智能体模型集成到nuPlan仿真平台中；2) 使用集成了SMART智能体的nuPlan环境，对14个自动驾驶规划器进行闭环评估；3) 对比使用SMART智能体和IDM智能体评估的结果，分析规划器性能的变化。整体流程是从仿真环境改造到规划器性能评估，最终得出结论。

关键创新：该论文的关键创新在于：1) 首次将先进的SMART智能体模型集成到nuPlan仿真平台中，显著提升了仿真环境的真实性；2) 通过对比使用SMART和IDM智能体的评估结果，量化了仿真环境真实性对规划器性能评估的影响，揭示了IDM智能体可能导致的性能高估；3) 提出了使用SMART反应式仿真作为nuPlan中新的标准闭环基准的建议。

关键设计：SMART智能体本身是一个预训练的模型，论文主要关注如何将其有效地集成到nuPlan仿真环境中。关键设计包括：1) 确保SMART智能体与nuPlan的接口兼容，能够接收nuPlan提供的环境信息，并输出智能体的行为决策；2) 设计合理的评估指标，以量化规划器在不同仿真环境下的性能表现，例如安全性、舒适性、效率等；3) 通过调整SMART智能体的参数，使其能够模拟不同类型的驾驶行为，例如激进型、保守型等。

📊 实验亮点

实验结果表明，使用SMART智能体评估后，大多数规划器的性能指标都有所下降，这表明基于IDM的仿真环境会高估规划器的性能。然而，一些规划器在多车道交互场景（如变道）中的表现反而有所提升，说明这些规划器在处理复杂交互方面具有潜力。在极端场景下，基于学习的规划器性能会突然下降，而基于规则的规划器则能保持基本行为。

🎯 应用场景

该研究成果可应用于自动驾驶系统的开发和测试，通过更真实的仿真环境，可以更有效地评估和改进自动驾驶规划器的性能，降低实际道路测试的风险和成本。此外，该研究也为其他仿真平台的交通智能体建模提供了参考，有助于提升自动驾驶仿真技术的整体水平。

📄 摘要（原文）

Planner evaluation in closed-loop simulation often uses rule-based traffic agents, whose simplistic and passive behavior can hide planner deficiencies and bias rankings. Widely used IDM agents simply follow a lead vehicle and cannot react to vehicles in adjacent lanes, hindering tests of complex interaction capabilities. We address this issue by integrating the state-of-the-art learned traffic agent model SMART into nuPlan. Thus, we are the first to evaluate planners under more realistic conditions and quantify how conclusions shift when narrowing the sim-to-real gap. Our analysis covers 14 recent planners and established baselines and shows that IDM-based simulation overestimates planning performance: nearly all scores deteriorate. In contrast, many planners interact better than previously assumed and even improve in multi-lane, interaction-heavy scenarios like lane changes or turns. Methods trained in closed-loop demonstrate the best and most stable driving performance. However, when reaching their limits in augmented edge-case scenarios, all learned planners degrade abruptly, whereas rule-based planners maintain reasonable basic behavior. Based on our results, we suggest SMART-reactive simulation as a new standard closed-loop benchmark in nuPlan and release the SMART agents as a drop-in alternative to IDM at https://github.com/shgd95/InteractiveClosedLoop.