ForeDrive: Foresight-Guided End-to-End Autonomous Driving with a Planning-Relevant Latent World Model

📄 arXiv: 2609.26299v1 📥 PDF

作者: Sinuo Wang, Zichong Gu, Yuhan Huang, Wenxin Wen, Xun Yang, Yiqing Zhang, Xingyu Zhang, Ningyu Che, Jie Ling, Qiankun Yu, Wei Liu, Jing Xu, Xinggang Wang

分类: cs.CV

发布日期: 2026-09-22

备注: 9 pages, 4 figures; 8 pages supplementary with 4 figures

💡 一句话要点

提出ForeDrive以解决自主驾驶中的规划相关表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 自主驾驶 规划相关表示 扩散变换器 模仿学习 未来状态注入 轨迹自适应偏置 视觉融合

📋 核心要点

  1. 现有的潜在世界模型在未来可预测性方面存在不足，导致生成的表示不适合自主驾驶中的规划任务。
  2. ForeDrive通过学习与规划相关的潜在表示，并将其与扩散变换器（DiT）规划器不对称耦合，提出了一种新方法。
  3. 在NAVSIM v1和NAVSIM v2上，ForeDrive分别达到了89.9 PDMS和90.0单阶段EPDMS，显示出显著的性能提升。

📝 摘要（中文）

现有的潜在世界模型通常优化未来可预测性，但其生成的表示并不一定适用于自主驾驶中的规划。预测通常用于预训练或辅助监督，而不是作为轨迹生成的直接条件信号。我们提出了ForeDrive，它学习了一种与规划相关的潜在表示，并将其不对称地与扩散变换器（DiT）规划器耦合。该规划器利用通过JEPA风格世界模型学习的多时间步潜在未来表示；规划梯度更新共享的在线编码器，而停止梯度路由仅使用预测损失训练潜在预测器。由于预测的未来在不同时间步的可靠性各异，且BEV轨迹与图像标记不对齐，我们使用门控视觉融合、未来状态注入和轨迹自适应偏置（TAB）来注入未来潜在信息作为指导，而不覆盖当前观察。在纯模仿学习下训练，并在推理时仅使用当前前视图图像作为视觉输入，ForeDrive在NAVSIM v1上达到了89.9 PDMS，在NAVSIM v2上达到了90.0单阶段EPDMS，且无需强化学习或外部轨迹评分器。

🔬 方法详解

问题定义：论文旨在解决现有潜在世界模型在自主驾驶规划中的不足，特别是其生成的表示不适合直接用于轨迹生成。现有方法通常将预测用于预训练或辅助监督，而非直接作为规划信号。

核心思路：ForeDrive的核心思路是学习一种与规划相关的潜在表示，并将其与扩散变换器（DiT）规划器不对称耦合。通过这种设计，模型能够更好地利用未来的潜在信息来指导当前的决策过程。

技术框架：整体架构包括一个JEPA风格的世界模型用于学习多时间步的潜在未来表示，一个扩散变换器作为规划器，以及一个共享的在线编码器。规划器通过规划梯度更新编码器，而潜在预测器则通过停止梯度路由进行训练。

关键创新：最重要的技术创新在于引入了与规划相关的潜在表示，并通过门控视觉融合、未来状态注入和轨迹自适应偏置（TAB）来有效地将未来潜在信息注入当前决策中。这与现有方法的本质区别在于，ForeDrive能够在不覆盖当前观察的情况下利用未来信息。

关键设计：关键设计包括使用门控视觉融合来处理不同时间步的潜在信息，未来状态注入用于增强当前观察的上下文，以及轨迹自适应偏置（TAB）来调整潜在信息的影响。此外，损失函数的设计确保了潜在预测器的训练仅依赖于预测损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ForeDrive在NAVSIM v1上达到了89.9 PDMS，在NAVSIM v2上达到了90.0单阶段EPDMS，显示出显著的性能提升。这一结果表明，ForeDrive在自主驾驶任务中具有优越的规划能力，且无需依赖强化学习或外部评分机制。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统以及机器人导航等。通过提高自主驾驶系统在复杂环境中的规划能力，ForeDrive有望在实际应用中提升安全性和效率，推动智能交通的发展。

📄 摘要（原文）

Existing latent world models are typically optimized for future predictability, yet the resulting representations are not necessarily useful for planning in autonomous driving. Predictions are commonly used for pretraining or auxiliary supervision rather than as direct conditioning signals for trajectory generation. We propose ForeDrive, which learns a planning-relevant latent representation and couples it asymmetrically to a Diffusion Transformer (DiT) planner. The planner consumes multi-horizon latent future representations learned with a JEPA-style world model; planning gradients update the shared online encoder, while stop-gradient routing trains the latent predictor with forecasting losses only. Because predicted futures have varying reliability across horizons and BEV trajectories are misaligned with image tokens, we use gated visual fusion, future-status injection, and Trajectory-Adaptive Bias (TAB) to inject future latents as guidance without overriding the current observation. Trained with pure imitation learning and using only the current front-view image as visual input at inference, ForeDrive attains 89.9 PDMS on NAVSIM v1 and 90.0 one-stage EPDMS on NAVSIM v2, without reinforcement learning or an external trajectory scorer.