When Planners Meet Reality: How Learned, Reactive Traffic Agents Shift nuPlan Benchmarks

📄 arXiv: 2510.14677v1 📥 PDF

作者: Steffen Hagedorn, Luka Donkov, Aron Distelzweig, Alexandru P. Condurache

分类: cs.RO, cs.AI, cs.LG, cs.MA

发布日期: 2025-10-16

🔗 代码/项目: GITHUB

💡 一句话要点

引入SMART智能体，提升nuPlan自动驾驶仿真环境真实性，重评估规划器性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 自动驾驶 规划器评估 交通仿真 智能交通智能体 nuPlan SMART智能体 闭环仿真 交互行为

📋 核心要点

  1. 现有nuPlan仿真环境依赖IDM等简单交通智能体，无法真实反映复杂交通交互，导致规划器评估失真。
  2. 本文将先进的SMART智能体集成到nuPlan中，提供更真实的交通环境，从而更准确地评估自动驾驶规划器。
  3. 实验表明，使用SMART智能体后，多数规划器性能下降，但在交互场景中部分规划器表现更好，闭环训练方法更稳定。

📝 摘要（中文）

在闭环仿真中评估规划器时，通常使用基于规则的交通智能体，但其简单被动的行为会掩盖规划器的缺陷并导致排名偏差。广泛使用的IDM智能体只能跟随前车，无法对相邻车道的车辆做出反应，阻碍了复杂交互能力的测试。本文通过将最先进的智能交通智能体模型SMART集成到nuPlan中来解决这个问题。因此，我们首次在更真实的条件下评估规划器，并量化缩小sim-to-real差距时结论的变化。我们的分析涵盖了14个最新的规划器和已建立的基线，结果表明，基于IDM的仿真高估了规划性能：几乎所有分数都有所下降。相反，许多规划器的交互性能比之前假设的要好，甚至在多车道、交互密集的场景（如变道或转弯）中有所提高。在闭环中训练的方法表现出最好和最稳定的驾驶性能。然而，当在增强的极端场景中达到极限时，所有学习到的规划器都会突然退化，而基于规则的规划器则保持合理的行为。基于我们的结果，我们建议将SMART反应式仿真作为nuPlan中新的标准闭环基准，并发布SMART智能体作为IDM的直接替代品。

🔬 方法详解

问题定义：论文旨在解决自动驾驶规划器在仿真环境中评估不准确的问题。现有方法主要依赖于基于规则的交通智能体（如IDM），这些智能体行为简单、被动，无法模拟真实交通场景中复杂的交互行为。这导致规划器在仿真环境中的表现与实际道路上的表现存在较大差距，使得评估结果不可靠，甚至可能误导规划器的设计和优化。现有方法的痛点在于无法有效测试规划器在复杂交互场景下的能力，例如变道、超车、避让等。

核心思路：论文的核心思路是使用更先进、更真实的交通智能体来替代传统的基于规则的智能体，从而提高仿真环境的真实性。具体而言，论文将最先进的智能交通智能体模型SMART集成到nuPlan仿真平台中。SMART智能体能够模拟更复杂的交通行为，例如对相邻车道的车辆做出反应、进行变道决策等。通过使用SMART智能体，可以更全面、更准确地评估自动驾驶规划器的性能。

技术框架：该研究的技术框架主要包括以下几个部分：1) nuPlan仿真平台：作为自动驾驶规划器的评估环境。2) IDM交通智能体：作为原始的交通智能体，用于与SMART智能体进行对比。3) SMART交通智能体：作为新的交通智能体，用于模拟更真实的交通行为。4) 自动驾驶规划器：作为被评估的对象，包括14个最新的规划器和已建立的基线。5) 评估指标：用于量化规划器的性能，例如安全性、舒适性、效率等。整体流程是，将不同的自动驾驶规划器部署在nuPlan仿真环境中，分别使用IDM和SMART智能体作为交通环境，然后根据评估指标来评估规划器的性能。

关键创新：论文最重要的技术创新点在于将SMART智能体集成到nuPlan仿真平台中，从而提供了一个更真实的自动驾驶仿真环境。与现有方法相比，SMART智能体能够模拟更复杂的交通行为，例如对相邻车道的车辆做出反应、进行变道决策等。这使得可以更全面、更准确地评估自动驾驶规划器的性能。此外，论文还通过实验证明了使用SMART智能体后，规划器的性能评估结果与使用IDM智能体存在显著差异，这表明使用更真实的交通智能体对于自动驾驶规划器的评估至关重要。

关键设计：论文的关键设计包括以下几个方面：1) SMART智能体的选择：选择SMART智能体是因为其在模拟真实交通行为方面表现出色。2) nuPlan仿真平台的集成：将SMART智能体无缝集成到nuPlan仿真平台中，使其可以作为IDM智能体的直接替代品。3) 评估指标的选择：选择合适的评估指标来量化规划器的性能，例如安全性、舒适性、效率等。4) 实验场景的设计：设计不同的实验场景，例如多车道、交互密集的场景（如变道或转弯），以测试规划器在不同交通环境下的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用SMART智能体后，多数规划器的性能指标有所下降，这表明基于IDM的仿真环境高估了规划器的性能。然而，在多车道、交互密集的场景中，部分规划器的性能反而有所提升，这表明这些规划器在处理复杂交通交互方面具有一定的优势。此外，在闭环中训练的规划器表现出最好和最稳定的驾驶性能。但当在极端场景中达到极限时，所有学习到的规划器都会突然退化，而基于规则的规划器则保持合理的行为。

🎯 应用场景

该研究成果可应用于自动驾驶系统的开发和测试，特别是在规划器模块的评估和优化方面。通过使用更真实的交通仿真环境，可以更有效地发现规划器在实际道路上可能存在的问题，从而提高自动驾驶系统的安全性和可靠性。此外，该研究还可以促进自动驾驶仿真技术的发展，推动自动驾驶技术的商业化应用。

📄 摘要（原文）

Planner evaluation in closed-loop simulation often uses rule-based traffic agents, whose simplistic and passive behavior can hide planner deficiencies and bias rankings. Widely used IDM agents simply follow a lead vehicle and cannot react to vehicles in adjacent lanes, hindering tests of complex interaction capabilities. We address this issue by integrating the state-of-the-art learned traffic agent model SMART into nuPlan. Thus, we are the first to evaluate planners under more realistic conditions and quantify how conclusions shift when narrowing the sim-to-real gap. Our analysis covers 14 recent planners and established baselines and shows that IDM-based simulation overestimates planning performance: nearly all scores deteriorate. In contrast, many planners interact better than previously assumed and even improve in multi-lane, interaction-heavy scenarios like lane changes or turns. Methods trained in closed-loop demonstrate the best and most stable driving performance. However, when reaching their limits in augmented edge-case scenarios, all learned planners degrade abruptly, whereas rule-based planners maintain reasonable basic behavior. Based on our results, we suggest SMART-reactive simulation as a new standard closed-loop benchmark in nuPlan and release the SMART agents as a drop-in alternative to IDM at https://github.com/shgd95/InteractiveClosedLoop.