SkipWorld: Latent Skip Planning with Distilled World Models for Efficient Visual Navigation

📄 arXiv: 2610.18135v1 📥 PDF

作者: Yifei Yang, Zehua Fan, Zike Yan, Zhongyu Li, Yan Wang

分类: cs.RO

发布日期: 2026-10-13

💡 一句话要点

提出SkipWorld以解决长时间规划效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉导航 世界模型 潜在自回归 跳跃模型 规划效率 机器人技术 自动驾驶

📋 核心要点

  1. 现有的世界模型在长时间规划中面临计算效率低下的问题，尤其是在闭环预测中。
  2. SkipWorld通过引入潜在自回归模型和跳跃模型，优化了长时间轨迹的预测和评估过程。
  3. 实验结果显示，SkipWorld在多个数据集上显著提高了规划效率和准确性，降低了误差和计算时间。

📝 摘要（中文）

基于世界模型的视觉导航通过预测候选轨迹下的未来状态来实现动作规划。然而，长时间的展开仍然具有挑战性：模型通常在真实视觉历史上训练，但在闭环预测中部署，逐步展开评估多个候选轨迹计算开销巨大。我们提出了SkipWorld，一个用于高效视觉导航的潜在跳跃规划框架。SkipWorld引入了三个组件：(i)潜在自回归模型Latent AutoRoll，递归地在潜在空间中展开未来状态，减少训练与闭环推理之间的不匹配；(ii) SkipDistill，将潜在自回归模型蒸馏为直接预测长步长未来潜在状态的跳跃世界模型；(iii) Skip-then-Refine Planning，采用双模型粗到细的规划器，首先用跳跃模型过滤候选轨迹，然后用更强的自回归模型重新排序选定的候选。实验结果表明，与NWM相比，SkipWorld将平均绝对轨迹误差（ATE）降低了4.2%，相对轨迹误差（RPE）降低了2.7%，同时规划时间减少了62.4%，速度提升了2.7倍。

🔬 方法详解

问题定义：本论文旨在解决基于世界模型的视觉导航中长时间规划的计算效率低下问题。现有方法在闭环预测中面临训练与推理不匹配的问题，导致计算开销大。

核心思路：SkipWorld的核心思路是通过潜在空间的递归展开和跳跃模型的引入，减少冗余计算并提高预测精度。这样的设计使得模型在长时间规划中能够更高效地评估候选轨迹。

技术框架：SkipWorld的整体架构包括三个主要模块：Latent AutoRoll用于在潜在空间中递归展开未来状态，SkipDistill用于将自回归模型蒸馏为跳跃模型，Skip-then-Refine Planning用于候选轨迹的筛选与重新排序。

关键创新：SkipWorld的主要创新在于引入了潜在自回归模型和跳跃模型的结合，显著提高了长时间轨迹预测的效率和准确性。这与现有方法的逐步展开策略形成了本质区别。

关键设计：在模型设计中，采用了特定的损失函数来优化潜在状态的预测精度，并在网络结构上进行了调整，以适应跳跃模型的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上的实验结果表明，SkipWorld相比于NWM，平均绝对轨迹误差（ATE）降低了4.2%，相对轨迹误差（RPE）降低了2.7%，同时规划时间减少了62.4%，实现了2.7倍的速度提升，显示出显著的性能优势。

🎯 应用场景

SkipWorld的研究成果在自动驾驶、机器人导航和智能无人机等领域具有广泛的应用潜力。通过提高视觉导航的效率和准确性，该方法能够在复杂环境中实现更快速的决策，提升自主系统的智能水平。

📄 摘要（原文）

World-model-based visual navigation enables action planning by predicting future states under candidate trajectories. However, long-horizon rollout remains challenging: models are often trained with ground-truth visual histories but deployed in closed-loop prediction, and evaluating many candidates with step-by-step rollout is computationally expensive. We propose SkipWorld, a latent skip planning framework for efficient visual navigation. SkipWorld introduces three components: (i) Latent AutoRoll, which trains a world model to recursively roll out future states in latent space, reducing the mismatch between training and closed-loop inference; (ii) SkipDistill, which distills the latent autoregressive model into a skip world model that directly predicts long-stride future latent states; and (iii) Skip-then-Refine Planning, a dual-model coarse-to-fine planner that first filters candidate trajectories with the skip model and then reranks selected candidates with the stronger autoregressive model. This design preserves accurate trajectory evaluation while reducing redundant rollout computation. Experiments on RECON, HuRoN, SCAND, and TartanDrive show that, compared with NWM, SkipWorld reduces the average ATE by 4.2% and RPE by 2.7%, while decreasing planning time by 62.4% with a 2.7-fold speedup.