WALT: Learning World-Model-Aligned Latent Trajectories for Autonomous Driving

📄 arXiv: 2609.30436v1 📥 PDF

作者: Mingkai Jia, Jiaxin Guo, Zhijian Shu, Jiawei Xu, Mingxiao Li, Jintao Cheng, Ping Tan, Wei Yin

分类: cs.RO, cs.CV

发布日期: 2026-09-24

💡 一句话要点

提出WALT以解决视觉世界模型与几何轨迹不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 轨迹规划 世界模型 深度学习 语义对齐 潜在表示 机器人导航

📋 核心要点

  1. 现有的驾驶世界模型在视觉预测上表现良好，但在轨迹规划中存在视觉状态与几何轨迹不匹配的问题。
  2. WALT通过将信息从冻结的预训练世界模型转移到潜在轨迹空间，学习紧凑的轨迹表示，提升了动作相关语义的捕捉能力。
  3. 在NAVSIM基准测试中，WALT显著提升了轨迹规划性能，同时减少了计算复杂度，展示了其有效性。

📝 摘要（中文）

驾驶世界模型从视觉观察中学习丰富的环境预测表示，但准确的视觉预测并不一定能有效支持轨迹规划。本文认为，视觉世界状态与原始几何轨迹之间的差异是一个关键瓶颈，限制了规划器利用世界模型中编码的与动作相关的语义。为此，提出了世界模型对齐的潜在轨迹（WALT），通过从冻结的预训练驾驶世界模型中转移信息，学习紧凑的生成轨迹潜在空间，而不修改世界模型本身。WALT通过双分支轨迹自编码器将原始路径映射为紧凑表示，并将冻结的视觉世界模型中的语义知识转移到该轨迹空间，鼓励学习的动作表示捕捉与未来运动和规划相关的场景级线索。实验结果表明，WALT在NAVSIM基准测试中相较于原始轨迹基线，PDMS从89.4提升至89.8，EPDMS从87.3提升至87.9，同时减少了30.5%的轨迹规划器FLOPs。

🔬 方法详解

问题定义：本文旨在解决视觉世界模型与几何轨迹之间的不匹配问题，现有方法在有效轨迹规划中面临挑战，限制了动作语义的利用。

核心思路：WALT通过双分支轨迹自编码器将原始轨迹映射为紧凑表示，并从冻结的视觉世界模型中转移语义知识，以增强轨迹的动作相关性。

技术框架：WALT的整体架构包括一个双分支自编码器，负责将轨迹映射到潜在空间，并通过对齐机制与视觉世界模型进行信息交互。

关键创新：WALT的创新在于不直接生成原始轨迹，而是通过对齐潜在空间与世界模型，提升了轨迹的语义表达能力，与传统方法相比具有本质区别。

关键设计：WALT采用了特定的损失函数以优化轨迹表示，并设计了双分支网络结构，以确保信息的有效转移和语义捕捉。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WALT在NAVSIM基准测试中表现出色，相较于原始轨迹基线，PDMS从89.4提升至89.8，EPDMS从87.3提升至87.9，同时减少了30.5%的轨迹规划器FLOPs，显示出其在性能和效率上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能交通系统。通过提升轨迹规划的效率和准确性，WALT能够在复杂环境中实现更安全、更智能的自动驾驶解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Driving world models learn rich predictive representations of the surrounding environment from visual observations, yet accurate visual prediction does not necessarily translate into effective trajectory planning. We argue that a key bottleneck lies in the mismatch between visual world states and raw geometric trajectories, which may limit the planner's ability to exploit action-relevant semantics encoded by the world model. To address this issue, we propose World-Model Alignment for Latent Trajectories (WALT), which learns a compact generative trajectory latent space by transferring information from a frozen pretrained driving world model without modifying the world model itself. Rather than directly generating raw waypoints, WALT maps them into compact representations through a dual-branch trajectory autoencoder and transfers semantic knowledge from the frozen visual world model into this trajectory space, encouraging the learned action representation to capture scene-level cues relevant to future motion and planning. Beyond our proposed formulation, we systematically study latent learning based on Joint-Embedding Predictive Architectures (JEPA) and feature alignment following Representation Alignment (REPA) to investigate how trajectory-only representation learning affects downstream planning. We evaluate WALT on the NAVSIM benchmarks. Relative to the raw-waypoint baseline, WALT improves PDMS from 89.4 to 89.8 on NAVSIMv1 and EPDMS from 87.3 to 87.9 on NAVSIMv2 while reducing trajectory planner FLOPs by 30.5%. These results suggest that preserving world representations while extracting action-relevant information provides an effective interface for world-model-based trajectory planning.