GraphSCENE: On-Demand Critical Scenario Generation for Autonomous Vehicles in Simulation

📄 arXiv: 2410.13514v3 📥 PDF

作者: Efimia Panagiotaki, Georgi Pramatarov, Lars Kunze, Daniele De Martini

分类: cs.RO, cs.LG

发布日期: 2024-10-17 (更新: 2025-09-26)

备注: Accepted to the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2025)

💡 一句话要点

GraphSCENE：面向自动驾驶，按需生成关键场景的图神经网络方法

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 自动驾驶 场景生成 图神经网络 仿真测试 时序建模 交通场景 关键场景

📋 核心要点

  1. 手动创建自动驾驶仿真测试场景耗时且难以覆盖所有关键情况，现有方法难以满足多样化和定制化的需求。
  2. GraphSCENE利用时序图神经网络，根据用户指定的AV动作、动态代理和关键程度，按需生成动态场景图。
  3. 实验表明，该模型在生成与请求场景对应的链接方面优于基线方法，并验证了其作为自动驾驶测试环境的有效性。

📝 摘要（中文）

在实际部署自动驾驶车辆(AV)之前，对其在安全关键和多样化场景中的性能进行测试和验证至关重要。然而，在仿真环境中手动创建此类场景仍然是一项重大且耗时的挑战。本文提出了一种新颖的方法，可以按需生成与各种交通场景相对应的动态时序场景图，并根据用户定义的偏好（如AV动作、动态代理集合和关键程度）进行定制。一个时序图神经网络(GNN)模型学习预测自我车辆、代理和静态结构之间的关系，该模型以真实世界的时空交互模式为指导，并受到本体的约束，该本体将预测限制为语义上有效的链接。我们的模型在准确生成与请求场景相对应的链接方面始终优于基线。我们在仿真中渲染预测的场景，以进一步证明它们作为AV代理测试环境的有效性。

🔬 方法详解

问题定义：论文旨在解决自动驾驶车辆仿真测试中，手动创建安全关键和多样化场景的耗时和低效问题。现有方法难以根据用户需求定制场景，并且难以覆盖所有潜在的危险情况。这导致自动驾驶系统的测试和验证过程变得缓慢且不全面。

核心思路：论文的核心思路是利用图神经网络（GNN）学习真实世界交通场景中车辆、行人、道路等元素之间的关系，并根据用户指定的参数（如AV动作、动态代理集合和关键程度）生成相应的场景图。通过这种方式，可以按需生成多样化且定制化的测试场景，从而更有效地评估自动驾驶系统的性能。

技术框架：GraphSCENE的整体框架包括以下几个主要模块：1) 数据收集与预处理：收集真实世界交通场景数据，并将其转换为图结构表示。2) 时序图神经网络模型：构建一个时序GNN模型，用于学习场景中各个元素之间的关系，并预测未来的交互。3) 场景生成模块：根据用户指定的参数，利用训练好的GNN模型生成相应的场景图。4) 仿真渲染模块：将生成的场景图渲染到仿真环境中，用于自动驾驶系统的测试和验证。

关键创新：该方法的主要创新点在于：1) 提出了一种基于图神经网络的场景生成方法，能够按需生成多样化和定制化的测试场景。2) 利用时序GNN模型学习场景中各个元素之间的动态关系，从而能够生成更逼真的场景。3) 引入本体约束，确保生成的场景在语义上是有效的。

关键设计：论文中关键的设计包括：1) 使用的时序GNN模型结构，具体网络结构未知。2) 用于训练GNN模型的损失函数，可能包含链接预测损失和场景合理性损失。3) 用于约束场景生成的本体知识库，用于限制预测的链接类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GraphSCENE在准确生成与请求场景相对应的链接方面始终优于基线方法。通过在仿真环境中渲染生成的场景，进一步验证了其作为自动驾驶代理测试环境的有效性。具体性能提升数据未知，但论文强调了其在场景生成准确性方面的优势。

🎯 应用场景

该研究成果可应用于自动驾驶系统的仿真测试与验证，帮助开发者更高效地发现和解决潜在的安全问题。此外，该方法还可以用于自动驾驶算法的训练和优化，以及交通规划和管理等领域，具有广阔的应用前景。

📄 摘要（原文）

Testing and validating Autonomous Vehicle (AV) performance in safety-critical and diverse scenarios is crucial before real-world deployment. However, manually creating such scenarios in simulation remains a significant and time-consuming challenge. This work introduces a novel method that generates dynamic temporal scene graphs corresponding to diverse traffic scenarios, on-demand, tailored to user-defined preferences, such as AV actions, sets of dynamic agents, and criticality levels. A temporal Graph Neural Network (GNN) model learns to predict relationships between ego-vehicle, agents, and static structures, guided by real-world spatiotemporal interaction patterns and constrained by an ontology that restricts predictions to semantically valid links. Our model consistently outperforms the baselines in accurately generating links corresponding to the requested scenarios. We render the predicted scenarios in simulation to further demonstrate their effectiveness as testing environments for AV agents.