StageVLN: Spatial and Trajectory Auxiliary Guidance for Efficient Vision-Language Navigation

📄 arXiv: 2610.05664v1 📥 PDF

作者: Anh Dao, Quan-Dung Pham, Le Danh Vinh, The Anh Nguyen, Nguyen Viet Tri Pham, Yiyu Chen, Pham Tuyen Le, Van-Truong Nguyen, Quan Nguyen

分类: cs.CV, cs.RO

发布日期: 2026-10-05

💡 一句话要点

提出StageVLN以解决视觉语言导航中的几何信息缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 几何信息 深度学习 多模态融合 训练框架 路径规划

📋 核心要点

  1. 现有的视觉语言导航方法在中间表示中缺乏几何信息的保留，导致导航效果不佳。
  2. StageVLN通过引入空间和轨迹的辅助指导，优化导航表示，同时保持推理过程的简洁性。
  3. 在多个数据集上，StageVLN显著提升了导航成功率，证明了其有效性和实用性。

📝 摘要（中文）

视觉语言导航（VLN）策略越来越依赖于大型视觉语言模型（VLMs）提供的强语义先验。然而，标准的动作监督并未明确鼓励中间表示保留场景几何、相对方向或全局进度。引入深度估计器、显式地图、点云或几何基础模型虽然能提供结构，但会增加计算和内存开销。本文提出StageVLN，一个训练框架，通过特权空间和轨迹指导来塑造导航表示，同时保留原始推理路径。在R2R-CE验证集上，StageVLN在没有额外几何编码器的情况下，达到了56.3%的成功率（SR）和51.4%的路径长度（SPL）。在RxR-CE上，成功率为54.3%，且无需额外的导航训练数据或几何编码器。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航中，现有方法未能有效保留场景几何信息和全局进度的问题。标准的动作监督无法提供足够的几何结构支持，导致导航性能受限。

核心思路：StageVLN的核心思路是通过特权空间和轨迹指导来塑造导航表示。这种设计允许在训练阶段引入额外的几何信息，而在推理阶段保持简洁，避免了计算和内存的额外开销。

技术框架：StageVLN的整体架构包括一个冻结的几何基础模型，提供多层次的空间指导，结合相对朝向和专家路径进度目标，形成互补的轨迹状态监督。所有辅助组件仅在训练期间使用，推理时被移除。

关键创新：StageVLN的主要创新在于其训练框架，通过引入空间和轨迹的辅助指导，显著提升了导航表示的质量。这与传统方法的直接监督方式形成了本质区别。

关键设计：在设计上，StageVLN采用了多层次的空间指导机制，并结合了相对朝向和专家路径进度的损失函数，确保了导航过程中的几何信息保留，同时避免了在推理阶段的复杂性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在R2R-CE验证集上，StageVLN达到了56.3%的成功率（SR）和51.4%的路径长度（SPL），在RxR-CE上成功率为54.3%。这些结果表明，StageVLN在没有额外几何编码器的情况下，显著提升了导航性能，展示了其有效性。

🎯 应用场景

StageVLN的研究成果在智能机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升视觉语言导航的效率和准确性，该方法能够为多模态交互系统提供更为可靠的导航支持，推动相关技术的进步与普及。

📄 摘要（原文）

Vision-and-Language Navigation (VLN) policies increasingly benefit from strong semantic priors provided by large vision-language models (VLMs). However, standard action supervision does not explicitly encourage intermediate representations to preserve scene geometry, relative orientation, or global episode progress. Incorporating depth estimators, explicit maps, point clouds, or geometry foundation models at inference can provide such structure but introduces additional computation, memory overhead, and architectural dependence during deployment. We introduce StageVLN, a training framework that shapes navigation representations through privileged spatial and trajectory guidance while preserving the original inference pathway. A frozen geometry foundation model provides multi-level spatial guidance to hierarchical navigator states, while relative-heading and expert-route progress objectives provide complementary trajectory-state supervision. All auxiliary components are used only during training and removed at deployment. On R2R-CE validation-unseen, StageVLN achieves 56.3\% SR and 51.4\% SPL with a 4B-parameter backbone, without an additional geometry encoder at inference. On RxR-CE, it achieves 54.3\% SR without additional navigation training data or a geometry encoder at inference.