DreamNav: A Trajectory-Based Imaginative Framework for Zero-Shot Vision-and-Language Navigation

📄 arXiv: 2509.11197v1 📥 PDF

作者: Yunheng Wang, Yuetong Fang, Taowen Wang, Yixiao Feng, Yawen Tan, Shuning Zhang, Peiran Liu, Yiding Ji, Renjing Xu

分类: cs.RO, cs.AI, cs.CL, cs.CV

发布日期: 2025-09-14

💡 一句话要点

DreamNav：基于轨迹想象的零样本视觉-语言导航框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 零样本学习 轨迹规划 主动想象 具身智能

📋 核心要点

  1. 现有零样本VLN方法依赖高成本感知和点级动作选择，导致部署昂贵且规划短视。
  2. DreamNav通过视点校正、轨迹预测和想象预测，实现低成本、长程和语义对齐的导航。
  3. DreamNav在VLN-CE和真实世界测试中显著提升了零样本导航性能，达到新的SOTA。

📝 摘要（中文）

本文提出DreamNav，一个用于连续环境下的视觉-语言导航(VLN-CE)的基于轨迹想象的框架。VLN-CE旨在将语言指令与真实世界的感知和控制联系起来，是具身机器人的核心能力。现有零样本VLN方法依赖于高成本的感知和被动的场景理解，并将控制简化为点级选择，导致部署成本高、动作语义错位和规划短视。DreamNav关注三个方面：(1) EgoView Corrector对齐视点并稳定自我中心感知，以降低感知成本；(2) Trajectory Predictor倾向于全局轨迹级规划，以更好地与指令语义对齐，而非点级动作；(3) Imagination Predictor赋予智能体主动思考能力，以实现预期性和长程规划。在VLN-CE和真实世界测试中，DreamNav达到了新的零样本SOTA，在SR和SPL指标上优于最强的自我中心基线，分别提升了高达7.49%和18.15%。据我们所知，这是第一个统一轨迹级规划和主动想象，同时仅使用自我中心输入的零样本VLN方法。

🔬 方法详解

问题定义：现有零样本视觉-语言导航方法依赖于昂贵的感知模块，并且将动作控制简化为点级别的选择，导致计算成本高昂，动作语义与指令不一致，以及缺乏长远的规划能力。这些问题限制了零样本VLN在实际场景中的应用。

核心思路：DreamNav的核心思路是通过引入轨迹级别的规划和主动的想象能力来解决上述问题。它旨在降低对感知模块的依赖，通过预测全局轨迹来更好地对齐指令语义，并通过想象预测器赋予智能体长程规划的能力。

技术框架：DreamNav包含三个主要模块：EgoView Corrector、Trajectory Predictor和Imagination Predictor。EgoView Corrector用于对齐视点并稳定自我中心感知，降低感知成本。Trajectory Predictor预测全局轨迹，而非点级动作，以更好地与指令语义对齐。Imagination Predictor赋予智能体主动思考能力，实现预期性和长程规划。整体流程是，智能体首先通过EgoView Corrector处理输入图像，然后利用Trajectory Predictor预测轨迹，并使用Imagination Predictor进行长程规划。

关键创新：DreamNav的关键创新在于统一了轨迹级别的规划和主动的想象能力，同时仅使用自我中心输入。与现有方法相比，它不再依赖于高成本的感知模块，而是通过预测全局轨迹和主动想象来实现更高效和更智能的导航。这是第一个在零样本VLN中实现这种统一的方法。

关键设计：EgoView Corrector的具体实现细节未知，但其目标是对齐视点并稳定感知。Trajectory Predictor可能使用Transformer或其他序列模型来预测轨迹。Imagination Predictor的具体实现细节也未知，但其目标是赋予智能体长程规划能力。损失函数的设计可能包括轨迹预测损失和导航成功率损失等。具体的网络结构和参数设置在论文中可能有所描述，但此处无法得知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DreamNav在VLN-CE和真实世界测试中取得了显著的性能提升，达到了新的零样本SOTA。具体而言，在SR和SPL指标上，DreamNav分别优于最强的自我中心基线高达7.49%和18.15%。这些结果表明，DreamNav在零样本视觉-语言导航方面具有显著的优势。

🎯 应用场景

DreamNav的潜在应用领域包括家庭服务机器人、物流配送机器人、以及自动驾驶等。该研究的实际价值在于降低了零样本视觉-语言导航的部署成本，并提高了导航的智能性和效率。未来，该技术有望被应用于更复杂的真实世界场景，例如在未知环境中执行复杂的导航任务。

📄 摘要（原文）

Vision-and-Language Navigation in Continuous Environments (VLN-CE), which links language instructions to perception and control in the real world, is a core capability of embodied robots. Recently, large-scale pretrained foundation models have been leveraged as shared priors for perception, reasoning, and action, enabling zero-shot VLN without task-specific training. However, existing zero-shot VLN methods depend on costly perception and passive scene understanding, collapsing control to point-level choices. As a result, they are expensive to deploy, misaligned in action semantics, and short-sighted in planning. To address these issues, we present DreamNav that focuses on the following three aspects: (1) for reducing sensory cost, our EgoView Corrector aligns viewpoints and stabilizes egocentric perception; (2) instead of point-level actions, our Trajectory Predictor favors global trajectory-level planning to better align with instruction semantics; and (3) to enable anticipatory and long-horizon planning, we propose an Imagination Predictor to endow the agent with proactive thinking capability. On VLN-CE and real-world tests, DreamNav sets a new zero-shot state-of-the-art (SOTA), outperforming the strongest egocentric baseline with extra information by up to 7.49\% and 18.15\% in terms of SR and SPL metrics. To our knowledge, this is the first zero-shot VLN method to unify trajectory-level planning and active imagination while using only egocentric inputs.