Relationally Grounded Latent World Models for Autonomous Driving

📄 arXiv: 2609.24626v1 📥 PDF

作者: Fabian Schmidt, Markus Enzweiler, Abhinav Valada

分类: cs.CV, cs.RO

发布日期: 2026-09-21

备注: Accepted at the NeuRo-SymBolic World Models (RoBoWoMo) Workshop at IROS 2026

💡 一句话要点

提出基于关系图的潜在世界模型以提升自动驾驶性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 自动驾驶 交通场景图 关系语义 模型训练

📋 核心要点

  1. 现有的潜在世界模型在自动驾驶中对关系语义的保留往往是隐式的，导致模型的预测能力不足。
  2. 本文提出利用交通场景图作为潜在世界表示的语义监督，通过编码其关系结构来提升模型的表现。
  3. 实验结果表明，所提方法在nuScenes数据集上显著降低了轨迹误差和碰撞率，验证了显式关系结构的有效性。

📝 摘要（中文）

潜在世界模型用于学习自动驾驶的预测表示，但其状态所保留的关系语义往往是隐式的。本文探讨交通场景图是否可以作为潜在世界表示的特权语义监督。基于LAW，我们从nuScenes 3D注释中构建以行为者为中心的场景图，利用冻结的文本嵌入模型对其序列化的关系结构进行编码，并在训练过程中将视觉潜在表示与此语义目标对齐。在推理时，我们移除了监督分支，因此不需要场景图或3D注释，并且没有增加测试时的计算负担。在nuScenes数据集上，我们的方法将平均轨迹L2误差从0.661降低到0.622（提升5.9%），碰撞率从0.456降低到0.217（提升52.4%），相较于重新训练的LAW基线。此外，它还优于无结构的标题式语义目标，支持了显式关系结构在潜在世界模型表示学习中的优势。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型在自动驾驶中对关系语义的隐式保留问题，导致模型在预测时的准确性不足。现有方法未能充分利用交通场景中的关系信息。

核心思路：论文提出通过构建以行为者为中心的交通场景图，并利用其关系结构作为监督信号，来增强潜在世界模型的学习效果。通过这种方式，模型能够更好地理解和预测复杂的交通场景。

技术框架：整体架构包括数据预处理、场景图构建、关系结构编码和模型训练四个主要模块。首先，从nuScenes数据集中提取3D注释，构建场景图；然后，使用冻结的文本嵌入模型对场景图进行编码；最后，在训练过程中将视觉潜在表示与编码的语义目标对齐。

关键创新：最重要的创新在于将交通场景图的显式关系结构引入潜在世界模型的训练中，这与传统方法的隐式语义表示形成了鲜明对比，显著提升了模型的预测能力。

关键设计：在模型设计中，采用了特定的损失函数来对齐视觉表示与语义目标，确保模型在训练过程中能够有效学习到交通场景中的关系信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所提方法在nuScenes数据集上将平均轨迹L2误差从0.661降低至0.622，提升幅度为5.9%；碰撞率从0.456降低至0.217，提升幅度高达52.4%。这些结果表明显式关系结构在潜在世界模型学习中的重要性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统、智能交通管理和机器人导航等。通过提升模型对交通场景的理解能力，可以有效降低事故发生率，提高行车安全性，具有重要的实际价值和社会影响。

📄 摘要（原文）

Latent world models learn predictive representations for autonomous driving, but the relational semantics these states preserve often remain implicit. We investigate whether traffic scene graphs can serve as privileged semantic supervision for latent world representations. Building on LAW, we construct actor-centric scene graphs from nuScenes 3D annotations, encode their serialized relational structure using a frozen text embedding model, and align the visual latent representations with this semantic target during training. We remove the supervision branch at inference, so it requires neither scene graphs nor 3D annotations and adds no test-time computation. On nuScenes, our method reduces average trajectory L2 error from 0.661 to 0.622 (5.9%) and collision rate from 0.456 to 0.217 (52.4%) relative to our retrained LAW baseline. It also outperforms an unstructured caption-style semantic target, supporting the benefit of explicit relational structure for latent world-model representation learning.