DiffWAM: A Fast and Efficient Navigation World Action Model

📄 arXiv: 2609.39763v1 📥 PDF

作者: Mo Zhu, Yuze Wu, Xijie Huang, Xiao Cui, Fei Gao, Xin Zhou

分类: cs.RO, cs.AI

发布日期: 2026-09-30

备注: 32 pages,10 figures, 8 tables

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DiffWAM以解决无人机导航中的视频运动转换问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机导航 视频模型 运动预测 几何重建 实时系统

📋 核心要点

  1. 现有方法在将视频模型的预测转化为无人机运动时，依赖昂贵的未来视频合成和几何重建，效率低下。
  2. DiffWAM通过直接从冻结的视频模型的预测表示中提取运动信息，避免了未来视频解码和多帧重建的需求。
  3. 在DiffWAM-1000基准上，DiffWAM实现了0.3492米的轨迹均方根误差，展示了其在复杂导航任务中的有效性。

📝 摘要（中文）

预训练的视频基础模型能够编码丰富的语义和时空先验，但将这些先验转化为无人机运动通常需要昂贵的未来视频合成和几何重建。我们研究了是否可以直接从冻结的视频模型的预测表示中恢复未来视觉预测中隐含的运动。为此，我们提出了DiffWAM，这是一种几何条件的导航世界动作模型，能够直接将多层预测特征转化为连续的相机轨迹。其Grid-Motion模块保留了时空运动关联，而Latent2Pose则通过第一帧几何信息将其定位，从而恢复有意义的3D运动。实验结果表明，DiffWAM在DiffWAM-1000基准上实现了0.3492米的轨迹均方根误差和74.40%的终点成功率，展示了其在复杂行为中的有效性。

🔬 方法详解

问题定义：本论文旨在解决如何将预训练视频模型中的运动信息有效转化为无人机的连续运动轨迹。现有方法依赖于复杂的未来视频合成和几何重建，导致效率低下和实时性不足。

核心思路：DiffWAM的核心思想是直接从冻结的视频模型的预测表示中提取运动信息，利用几何条件来实现运动轨迹的生成，从而避免了昂贵的实时视频解码过程。

技术框架：DiffWAM的整体架构包括Grid-Motion模块和Latent2Pose模块。Grid-Motion模块负责保留时空运动关联，而Latent2Pose模块则通过第一帧的几何信息来定位和恢复3D运动。

关键创新：DiffWAM的主要创新在于其能够在不依赖未来视频合成的情况下，直接将视频表示转化为连续的3D运动轨迹。这一方法显著提高了导航的实时性和效率。

关键设计：在模型设计中，DiffWAM采用了特定的损失函数来优化轨迹生成，同时在网络结构上进行了精细调整，以确保在不同场景下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiffWAM在DiffWAM-1000基准上实现了0.3492米的轨迹均方根误差和74.40%的终点成功率，展示了其在复杂导航任务中的有效性。此外，DiffWAM-Flash在NVIDIA Jetson AGX Thor上实现了1.08秒的模型管道延迟，表明其在实时应用中的潜力。

🎯 应用场景

DiffWAM的研究成果在无人机导航、自动驾驶和机器人领域具有广泛的应用潜力。通过高效的运动轨迹生成，该模型能够支持复杂环境下的自主导航任务，提升无人机在实时任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Pretrained video foundation models encode rich semantic and spatiotemporal priors for embodied navigation, yet converting these priors into UAV motion typically requires expensive future-video synthesis and geometric reconstruction. We investigate whether the motion implicit in future visual prediction can instead be recovered directly from the predictive representations of a frozen video model. To this end, we present DiffWAM, a geometry-conditioned navigation world-action model that directly transforms multi-level predictive features into continuous camera trajectories. Its Grid-Motion module preserves spatial-temporal motion associations, while Latent2Pose grounds them with first-frame geometry to recover metrically meaningful 3D motion. Complete video rollouts and geometric reconstruction are required only for offline supervision, eliminating future-video decoding and multi-frame reconstruction during deployment. We further introduce FastDreamer, which overlaps predictive and geometric computation with ongoing flight and performs timestamp-aware asynchronous trajectory handoff for continuous UAV execution. DiffWAM achieves a trajectory RMSE of 0.3492 m and an endpoint success rate of 74.40% on the 1,000-sample DiffWAM-1000 benchmark, while representative real-world experiments demonstrate complex behaviors including constrained traversal, orbiting, S-shaped flight, and multi-stage navigation. An onboard DiffWAM-Flash implementation further reaches 1.08 s model-pipeline latency on NVIDIA Jetson AGX Thor. These results demonstrate that predictive video representations can be efficiently grounded into continuous 3D motion, providing a direct alternative to generate-then-reconstruct navigation pipelines. Project page: https://zzmmzzm.github.io/diffwam.github.io/.