PASS-VLN: Passability-Aware Local-Command Vision-and-Language Navigation

📄 arXiv: 2610.22812v1 📥 PDF

作者: Cong Zou, Xiangsheng Shi, Xuanhui Wang, Fubin Wang, Guangjun Ge, Chao Wang, Yu Wang

分类: cs.RO

发布日期: 2026-10-16

备注: 9 pages, 4 figures

💡 一句话要点

提出PASS-VLN以解决机器人局部导航可执行性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉与语言导航 局部执行 可通行性 机器人导航 深度学习

📋 核心要点

  1. 现有的视觉与语言导航方法通常假设指令可执行，忽视了局部执行中的可通行性和碰撞问题。
  2. 本文提出PASS-VLN，通过固定环境和指令，变化机器人身体宽度，关注局部导航指令的可执行性。
  3. 实验结果显示，PASS-VLN在无碰撞成功率上比现有模型提高了约12个百分点，并能有效适应不同的身体宽度。

📝 摘要（中文）

可靠的视觉与语言导航（VLN）不仅需要理解指令，还需判断机器人是否能物理执行这些指令。现有的VLN基准通常假设指令可执行，且侧重于长时间任务，忽视了局部执行中的可通行性和无碰撞执行。为此，本文提出了PASS-VLN，一个关注可通行性的局部指令VLN基准和模型。该基准在固定场景、指令、起始位置和参考路径的同时，变化机器人身体宽度，要求在指示通道可行时完成目标，否则在障碍物前停止。实验表明，PASS-VLN在无碰撞成功率上比强大的VLN模型提高了约12个百分点，并且能够适应身体约束的到达与停止行为，且在未见身体宽度上具有良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有视觉与语言导航方法在局部执行中对可通行性和碰撞问题的忽视，导致导航失败难以归因的问题。

核心思路：PASS-VLN通过固定场景和指令，变化机器人身体宽度，确保在可行的情况下完成目标，未能通过时则停止，强调局部导航指令的可执行性。

技术框架：模型通过深度推导的局部鸟瞰图编码身体宽度，融合几何信息与视觉、语言上下文，预测离散潜在动作代码以实现连续闭环执行。

关键创新：PASS-VLN的创新在于其关注局部导航的可通行性，结合身体约束进行指令执行，与现有方法的长时间任务规划有本质区别。

关键设计：模型设计中，使用障碍物膨胀技术来编码身体宽度，结合视觉和语言信息进行特征融合，采用离散动作代码来实现高效的局部导航执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PASS-VLN在无碰撞成功率上比经过微调的强大VLN模型提高了约12个百分点。此外，模型在适应身体约束的到达与停止行为方面表现出色，并在未见身体宽度上具有良好的泛化能力。

🎯 应用场景

PASS-VLN的研究成果可广泛应用于机器人导航、自动驾驶、智能家居等领域，提升机器人在复杂环境中的自主导航能力。未来，该模型有望推动更高效的机器人交互和任务执行，具有重要的实际价值和应用前景。

📄 摘要（原文）

Reliable vision-and-language navigation (VLN) requires not only understanding instructions but also determining whether and how a robot can physically execute them. However, existing VLN benchmarks typically assume executable instructions and focus on long-horizon tasks. This leaves body-dependent local execution, including passability and collision-free execution, largely unexamined. Evaluating these factors within long-horizon tasks would entangle local physical execution with task planning and long-term spatial memory, making navigation failures difficult to attribute. We therefore focus on grounding local navigation commands in executable motion under environmental and robot body constraints. We present PASS-VLN, a passability-aware local-command VLN benchmark and model. The benchmark holds the scene, instruction, start pose, and reference route fixed while varying robot body width, requiring target completion when the instructed passage is feasible and stopping before blockage otherwise. Our model encodes body width through obstacle inflation in a depth-derived local bird's-eye view, fuses geometry with visual and linguistic context, and predicts discrete latent action codes for continuous closed-loop execution. Experiments show that PASS-VLN improves collision-free success by approximately 12 percentage points over a strong VLN model fine-tuned on our benchmark, while adapting reach-versus-stop behavior to body constraints and generalizing to unseen body widths. When integrated with a high-level planner, PASS-VLN achieves higher success with fewer local commands, while real-world deployment further demonstrates its effectiveness as a low-level executor. The benchmark and model will be released.