GuidedNav: Shaping Vision-Language Navigation Representations through Pre-action Attention and Spatial Guidance

📄 arXiv: 2610.13122v1 📥 PDF

作者: Jingyu Guo, Jiaxin Huang, Chengxing Lin, Xiaoyu Luo, Cheng Wen, Shanshan Ye, Tingjin Chu, Shaoli Huang, Mingming Gong

分类: cs.CV

发布日期: 2026-10-09

💡 一句话要点

提出GuidedNav以解决视觉语言导航中的决策指导问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 智能体决策 多模态学习 空间指导 深度学习

📋 核心要点

  1. 现有的视觉语言导航方法缺乏对决策过程的明确指导，导致智能体在训练中可能过拟合于特定的动作模式。
  2. 本文提出GuidedNav框架，通过子任务和地标指导，明确连接指令与动作的表示，提升导航决策的准确性。
  3. 实验表明，GuidedNav在多个数据集上超过了现有最强结果，成功率提升显著，同时推理速度更快。

📝 摘要（中文）

视觉语言导航（VLN）要求智能体通过扩展指令跟踪进度，识别与当前目标相关的地标，并理解周围的空间结构以采取行动。现有的端到端导航策略通常依赖于动作监督来隐式学习这些能力，但缺乏对每个决策背后证据的明确指导，导致策略可能过拟合于训练动作的预测相关性，而未能学习任务相关的基础和几何信息。为此，本文提出GuidedNav，一个统一框架，通过训练时的指导明确塑造这些表示。子任务和地标指导将原生的预动作注意力引导至活跃指令段和相关视觉区域，从而将动作预测与当前目标相结合。空间指导则将策略的内部表示与捕捉长时间上下文和局部空间结构的几何特征对齐。实验结果表明，GuidedNav在单目RGB策略中实现了最先进的性能，相较于先前结果在R2R-CE和RxR-CE val-unseen上分别提高了8.1%和13.1%的成功率，同时实现了更快的推理速度。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航中智能体决策过程缺乏明确指导的问题。现有方法往往依赖于动作监督，导致智能体可能过拟合于训练数据中的相关性，而未能有效学习任务相关的基础和几何信息。

核心思路：GuidedNav通过在训练过程中引入明确的指导机制，帮助智能体更好地理解指令与环境之间的关系。具体而言，通过子任务和地标指导，智能体能够聚焦于当前目标所需的视觉证据，从而提高决策的准确性。

技术框架：GuidedNav的整体架构包括三个主要模块：子任务和地标指导模块、空间指导模块以及动作预测模块。前两个模块负责引导智能体的注意力，确保其关注与当前指令相关的视觉信息，而动作预测模块则基于这些信息进行决策。

关键创新：GuidedNav的核心创新在于通过训练时的指导机制，明确塑造指令与动作之间的表示。这种方法与传统的端到端学习方式不同，避免了中间文本推理和在线几何编码的推理开销。

关键设计：在设计上，GuidedNav采用了特定的损失函数来平衡不同指导模块的影响，同时在网络结构中引入了多层注意力机制，以增强对长时间上下文和局部空间结构的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GuidedNav在单目RGB导航策略中实现了最先进的性能，相较于之前的最佳结果，在R2R-CE和RxR-CE val-unseen数据集上成功率分别提高了8.1%和13.1%。此外，GuidedNav还实现了更快的推理速度，显示出其在实际应用中的优势。

🎯 应用场景

GuidedNav的研究成果在智能机器人、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升视觉语言导航的准确性和效率，该方法能够帮助智能体更好地理解和互动复杂环境，推动人机协作和自主导航技术的发展。

📄 摘要（原文）

Vision-and-language navigation (VLN) requires an agent to track progress through an extended instruction, identify landmarks relevant to its current objective, and understand the surrounding spatial structure to act. End-to-end navigation policies typically rely on action supervision to implicitly learn these capabilities. Without explicit guidance on the evidence underlying each decision, however, policies can overfit to correlations predictive of training actions rather than learn the task-relevant grounding and geometry needed for generalization. Our insight is to guide the representations that connect instructions to actions: identifying what remains to be done determines which visual evidence matters, while understanding the geometry around that evidence informs how to move. We introduce GuidedNav, a unified framework that explicitly shapes these representations through training-time guidance. Subtask and landmark guidance steer native pre-action attention toward the active instruction segment and relevant visual regions, grounding action prediction in the current objective. Spatial guidance aligns the policy's internal representations with geometric features that capture long-horizon context and local spatial structure. Together, these objectives strengthen navigation capabilities while avoiding the inference overhead of intermediate textual reasoning and online geometric encoding. We also introduce Guided-R2R and Guided-RxR, two annotation-enriched navigation datasets that support more interpretable VLN research. GuidedNav establishes state-of-the-art performance among the compared monocular RGB policies, improving success rates by 8.1% and 13.1% relative to the strongest prior results on R2R-CE and RxR-CE val-unseen, respectively, while achieving faster inference. Extensive experiments further demonstrate the effectiveness and real-world transferability of our approach.