PlanWAM: Planning-Shaped Future Representations for End-to-End Autonomous Driving

📄 arXiv: 2610.11382v1 📥 PDF

作者: Jinchang Xu, Hongda Yu, Fengwei Dong, Wenhui Huang, Xi Wei, Yongzhi Liu, Sunan Zhang, Jirao Wang, Chen Lv, Bingbing Li, Guodong Yin, Weichao Zhuang

分类: cs.RO, cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出PlanWAM以优化自主驾驶中的未来状态表示

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主驾驶 轨迹规划 未来状态表示 世界模型 深度学习 时间注册金字塔 前瞻性规划

📋 核心要点

  1. 现有方法在自主驾驶中对未来状态的表示研究不足，未能有效支持轨迹规划。
  2. 本文提出PlanWAM，通过规划任务塑造未来状态表示，优化信息保留以支持规划。
  3. PlanWAM在NAVSIM-v1/v2和HUGSIM的评估中表现优异，展示了领先的规划性能。

📝 摘要（中文）

在端到端自主驾驶中，世界模型用于预测未来场景演变，以便为轨迹规划提供前瞻性支持。现有方法主要关注如何预测未来及其应用，但对哪些未来表示对规划最有用的研究较少。为此，本文提出了PlanWAM，即规划形状的世界动作模型。其核心思想是让规划任务塑造未来状态表示，从而保留对规划最有用的信息。通过历史观测，潜在世界模型预测这种规划形状的未来潜在表示，并用于规划，进而实现前瞻性规划。实验结果表明，PlanWAM在多个评估中表现出色，展示了规划形状未来表示在世界动作模型中的有效性和可部署性。

🔬 方法详解

问题定义：本文旨在解决现有自主驾驶方法在未来状态表示上的不足，尤其是如何有效支持轨迹规划的问题。现有方法往往忽视了未来表示对规划的实际影响。

核心思路：PlanWAM的核心思路是让规划任务直接影响未来状态的表示，使其更符合轨迹规划的需求，从而提高规划的有效性和准确性。

技术框架：整体架构包括多个模块：首先使用时间注册金字塔压缩多帧历史信息，学习面向未来推理的紧凑历史表示；然后引入特权未来后验分支，观察真实未来帧，并根据轨迹规划目标塑造未来潜在表示。

关键创新：PlanWAM的创新在于通过规划任务塑造未来状态表示，这一方法与传统的单纯预测未来状态的方式有本质区别，强调了规划与表示之间的互动关系。

关键设计：在设计中，采用了时间注册金字塔来处理历史信息，并通过特权未来后验分支来引导未来潜在表示的学习，确保其与规划目标一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PlanWAM在NAVSIM-v1/v2的评估中分别达到了93.8 PDMS和90.9 EPDMS，在闭环HUGSIM中获得38.7 HD-Score，展示了在零-shot设置下的领先规划性能，显著优于现有基线方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过优化未来状态表示，PlanWAM能够提升自主驾驶系统的决策能力和安全性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

World models in end-to-end autonomous driving predict future scene evolution to provide foresight for trajectory planning. Existing methods mainly study how to predict the future and how to use it, but less often ask which future representation is actually most useful for planning. To this end, we propose PlanWAM, a Planning-Shaped World Action Model. The key idea is to let the planning task shape the future-state representation, so that it retains the information most useful for planning. A latent world model then predicts this planning-shaped future latent representation from historical observations and uses it for planning, enabling foresighted planning. Specifically, we first use a Temporal Register Pyramid to compress multi-frame historical information in a recency-aware manner, learning a compact history representation oriented toward future reasoning and planning. We then introduce a privileged future posterior branch that observes ground-truth future frames, and shape its future latent representation with trajectory-planning objectives to obtain a planning-shaped future latent representation. Hindsight-to-Foresight Distillation trains a prior branch that depends only on history to predict this future latent representation. The predicted future latent representation serves as planning context and guides trajectory generation and selection. PlanWAM achieves 93.8 PDMS / 90.9 EPDMS on NAVSIM-v1/v2 navtest and reaches 38.7 HD-Score on closed-loop HUGSIM in a zero-shot setting, demonstrating leading planning performance across both open-loop and closed-loop evaluations. Extensive experiments further demonstrate that planning-shaped future representations provide an effective and deployable form of foresight for world-action models.