nuScenes Knowledge Graph -- A comprehensive semantic representation of traffic scenes for trajectory prediction

📄 arXiv: 2312.09676v1 📥 PDF

作者: Leon Mlodzian, Zhigang Sun, Hendrik Berkemeyer, Sebastian Monka, Zixu Wang, Stefan Dietze, Lavdim Halilaj, Juergen Luettin

分类: cs.CV, cs.AI, cs.RO

发布日期: 2023-12-15

备注: Accepted to the 2023 IEEE/CVF International Converence on Computer Vision (ICCV) workshop on Scene Graphs and Graph Representation Learning (SG2RL)

DOI: 10.1109/ICCVW60793.2023.00011

🔗 代码/项目: GITHUB

💡 一句话要点

提出nuScenes知识图谱(nSKG)，用于交通场景轨迹预测的全面语义表示。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 知识图谱 轨迹预测 交通场景理解 nuScenes数据集 图神经网络

📋 核心要点

  1. 现有轨迹预测方法依赖有限的上下文信息，缺乏对交通场景的全面表示，限制了预测精度。
  2. 论文提出利用知识图谱建模交通场景中的实体及其语义关系，构建全面的场景表示。
  3. 构建了nuScenes知识图谱(nSKG)，并提供PyG库可用的数据格式，方便图神经网络使用，提升轨迹预测性能。

📝 摘要（中文）

交通场景中的轨迹预测需要准确预测周围车辆的行为。实现这一目标的关键是考虑上下文信息，包括车辆的行驶路径、道路拓扑、车道分隔线和交通规则。尽管研究表明利用异构上下文信息可以改善轨迹预测，但目前最先进的深度学习方法仍然依赖于这些信息的一个有限子集。这主要是由于缺乏全面的表示。本文提出了一种利用知识图谱来建模交通场景中不同实体及其语义连接的方法。此外，我们提出了nuScenes知识图谱（nSKG），它是nuScenes数据集的知识图谱，它显式地建模了所有场景参与者和道路元素，以及它们的语义和空间关系。为了方便通过图神经网络使用nSKG进行轨迹预测，我们以PyG库可以直接使用的格式提供数据。所有相关资源都可以在GitHub上找到。

🔬 方法详解

问题定义：现有轨迹预测方法难以充分利用交通场景中的异构上下文信息，例如车辆行驶路径、道路拓扑、交通规则等。深度学习方法通常只关注部分信息，缺乏对场景的全面理解，导致预测精度受限。因此，如何构建一种能够全面表示交通场景中各种实体及其关系的结构化表示是亟待解决的问题。

核心思路：论文的核心思路是利用知识图谱来建模交通场景。知识图谱能够显式地表示实体（如车辆、道路、交通信号灯）及其之间的关系（如跟随、相邻、控制）。通过将交通场景中的各种元素及其关系映射到知识图谱中，可以构建一个全面的场景表示，从而为轨迹预测提供更丰富的上下文信息。

技术框架：该方法主要包含两个阶段：知识图谱构建和轨迹预测。首先，利用nuScenes数据集中的标注信息，构建nuScenes知识图谱（nSKG）。nSKG包含场景中的所有参与者（车辆、行人等）和道路元素（车道线、交通信号灯等），以及它们之间的语义和空间关系。然后，将nSKG作为图神经网络的输入，用于轨迹预测。论文提供的数据格式可以直接被PyG库使用，方便研究人员进行实验。

关键创新：该论文的关键创新在于将知识图谱引入到交通场景轨迹预测中，并构建了大规模的nuScenes知识图谱（nSKG）。与传统的基于栅格地图或图像的方法相比，知识图谱能够更显式地表示场景中的实体及其关系，从而提供更丰富的上下文信息。此外，nSKG的构建也为后续研究提供了便利，可以作为基准数据集用于评估不同的轨迹预测算法。

关键设计：论文的关键设计包括nSKG的实体和关系定义，以及数据格式的转换。实体包括车辆、行人、道路、交通信号灯等，关系包括跟随、相邻、控制、位于等。数据格式被转换为PyG库可以直接使用的格式，方便研究人员使用图神经网络进行轨迹预测。具体的参数设置、损失函数和网络结构等技术细节在论文中没有详细描述，需要参考后续的实验部分或者代码实现。

📊 实验亮点

论文构建了大规模的nuScenes知识图谱(nSKG)，为轨迹预测提供了丰富的上下文信息。虽然摘要中没有明确提及具体的性能数据和提升幅度，但强调了nSKG的可用性，并提供了PyG库可用的数据格式，方便研究人员使用图神经网络进行轨迹预测，暗示了其在提升轨迹预测性能方面的潜力。

🎯 应用场景

该研究成果可应用于自动驾驶、高级驾驶辅助系统（ADAS）等领域。通过更准确的轨迹预测，可以提高自动驾驶车辆的安全性，减少交通事故的发生。此外，该方法还可以用于交通流量预测、智能交通管理等领域，为城市交通规划提供决策支持。

📄 摘要（原文）

Trajectory prediction in traffic scenes involves accurately forecasting the behaviour of surrounding vehicles. To achieve this objective it is crucial to consider contextual information, including the driving path of vehicles, road topology, lane dividers, and traffic rules. Although studies demonstrated the potential of leveraging heterogeneous context for improving trajectory prediction, state-of-the-art deep learning approaches still rely on a limited subset of this information. This is mainly due to the limited availability of comprehensive representations. This paper presents an approach that utilizes knowledge graphs to model the diverse entities and their semantic connections within traffic scenes. Further, we present nuScenes Knowledge Graph (nSKG), a knowledge graph for the nuScenes dataset, that models explicitly all scene participants and road elements, as well as their semantic and spatial relationships. To facilitate the usage of the nSKG via graph neural networks for trajectory prediction, we provide the data in a format, ready-to-use by the PyG library. All artefacts can be found here: https://github.com/boschresearch/nuScenes_Knowledge_Graph