Predicting the Road Ahead: A Knowledge Graph based Foundation Model for Scene Understanding in Autonomous Driving

📄 arXiv: 2503.18730v1 📥 PDF

作者: Hongkuan Zhou, Stefan Schmid, Yicong Li, Lavdim Halilaj, Xiangtong Yao, Wei cao

分类: cs.CL

发布日期: 2025-03-24

💡 一句话要点

提出基于知识图谱的场景理解基础模型FM4SU，用于自动驾驶

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 场景理解 知识图谱 预训练语言模型 鸟瞰图 序列预测 nuScenes数据集

📋 核心要点

  1. 现有自动驾驶方法在理解驾驶场景随时间的复杂演变方面存在局限性。
  2. FM4SU利用知识图谱捕获感知信息和领域知识，并使用预训练语言模型学习场景元素的共现关系。
  3. 实验表明，微调后的模型在nuScenes数据集上显著提高了场景预测的准确率，T5模型达到86.7%。

📝 摘要（中文）

本文提出了一种名为FM4SU的新方法，用于训练自动驾驶场景理解的符号基础模型（FM）。该方法利用知识图谱（KG）来捕获感知观测以及领域知识，如道路拓扑、交通规则或交通参与者之间复杂的交互。从KG中提取每个驾驶场景的鸟瞰图（BEV）符号表示，包括场景中物体之间的时空信息。BEV表示被序列化为token序列，并输入到预训练语言模型（PLM）中，以学习驾驶场景元素之间共现的内在理解，并生成对后续场景的预测。使用nuScenes数据集和KG进行了大量实验，结果表明，微调后的模型在所有任务中都获得了显著更高的准确率。微调后的T5模型实现了86.7%的下一场景预测准确率。本文得出结论，FM4SU为开发更全面的自动驾驶场景理解模型提供了一个有希望的基础。

🔬 方法详解

问题定义：现有自动驾驶系统难以有效理解驾驶场景随时间的演变，缺乏对场景中各元素之间复杂关系的建模能力。这限制了系统对未来场景的预测和规划能力。

核心思路：利用知识图谱（KG）来显式地表示驾驶场景中的各种实体（如车辆、行人、交通信号灯）及其关系（如位置、速度、交互）。通过将KG信息转化为符号表示，并输入到预训练语言模型（PLM）中，使模型能够学习场景元素的共现模式，从而实现对未来场景的预测。

技术框架：FM4SU框架包含以下主要阶段：1) 构建知识图谱：从传感器数据和领域知识中提取实体和关系，构建驾驶场景的知识图谱。2) BEV符号表示提取：将知识图谱中的信息转化为鸟瞰图（BEV）符号表示，捕捉场景中物体的时空信息。3) 序列化：将BEV符号表示序列化为token序列，以便输入到PLM中。4) 预训练和微调：使用大规模驾驶数据对PLM进行预训练，然后在特定任务上进行微调。

关键创新：将知识图谱引入到自动驾驶场景理解中，并利用预训练语言模型学习场景元素的共现模式。这种方法能够显式地建模场景中的关系，并利用PLM的强大表示能力，从而提高场景理解的准确性和鲁棒性。与传统的基于深度学习的方法相比，FM4SU更具可解释性和可扩展性。

关键设计：BEV符号表示的设计至关重要，需要平衡信息的丰富性和计算的复杂性。论文中使用的BEV表示包含了物体的位置、速度、类型等信息。序列化方法也需要仔细设计，以确保PLM能够有效地学习场景元素的共现模式。损失函数方面，可以使用交叉熵损失函数来训练模型预测下一个场景的token序列。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FM4SU在nuScenes数据集上取得了显著的性能提升。微调后的T5模型在下一场景预测任务中达到了86.7%的准确率，相比于其他基线方法有显著提高。这表明FM4SU能够有效地学习驾驶场景元素的共现模式，并准确地预测未来的场景。

🎯 应用场景

该研究成果可应用于自动驾驶系统的场景理解模块，提高系统对复杂交通环境的感知和预测能力。此外，该方法还可以扩展到其他需要理解复杂场景的应用中，如机器人导航、智能监控等。通过更准确的场景理解，可以提升自动驾驶的安全性、效率和用户体验。

📄 摘要（原文）

The autonomous driving field has seen remarkable advancements in various topics, such as object recognition, trajectory prediction, and motion planning. However, current approaches face limitations in effectively comprehending the complex evolutions of driving scenes over time. This paper proposes FM4SU, a novel methodology for training a symbolic foundation model (FM) for scene understanding in autonomous driving. It leverages knowledge graphs (KGs) to capture sensory observation along with domain knowledge such as road topology, traffic rules, or complex interactions between traffic participants. A bird's eye view (BEV) symbolic representation is extracted from the KG for each driving scene, including the spatio-temporal information among the objects across the scenes. The BEV representation is serialized into a sequence of tokens and given to pre-trained language models (PLMs) for learning an inherent understanding of the co-occurrence among driving scene elements and generating predictions on the next scenes. We conducted a number of experiments using the nuScenes dataset and KG in various scenarios. The results demonstrate that fine-tuned models achieve significantly higher accuracy in all tasks. The fine-tuned T5 model achieved a next scene prediction accuracy of 86.7%. This paper concludes that FM4SU offers a promising foundation for developing more comprehensive models for scene understanding in autonomous driving.