Offline Vision-Language Navigation with Geometric Goal Localization for Outdoor Environments
作者: Ali Salmasi, Xianjia Yu, Tomi Westerlund
分类: cs.RO
发布日期: 2026-07-24
💡 一句话要点
提出离线视觉语言导航框架以解决户外环境中的目标定位问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 小型语言模型 目标定位 边缘计算 自主机器人
📋 核心要点
- 现有的视觉语言导航系统依赖云端模型，限制了在网络不稳定环境中的应用。
- 提出了一种轻量级的混合语义-几何目标定位框架，结合了开放词汇物体检测和LiDAR几何信息。
- 实验表明，最佳离线SLM的指令分解性能与云API相当，且系统在32次闭环户外试验中成功31次。
📝 摘要（中文）
基于基础模型的视觉语言导航（VLN）通过使机器人能够理解自然语言指令、识别语义目标并遵循用户指定的行为规则，推动了自主机器人导航的发展。然而，现有的VLN系统过于依赖云端基础模型，限制了其在网络连接不稳定或需要可靠度量目标定位的场景中的应用。本文提出了三项贡献：首先，系统性评估了17种边缘可部署的小型语言模型（SLMs）与4个在线API在机器人导航指令分解中的表现；其次，提出了一种轻量级的混合语义-几何目标定位框架；最后，将这些进展整合到Edge-BehAV中，实现了云独立的行为引导导航。实验结果表明，最佳的离线SLM在指令分解性能上与最强的云API相当，但运行速度快约9倍且无需网络连接。
🔬 方法详解
问题定义：现有的视觉语言导航系统在网络连接不稳定的环境中表现不佳，依赖云端模型进行语言理解和语义定位，导致其适用性受到限制。
核心思路：本研究提出了一种完全离线的视觉语言导航框架，利用边缘计算能力和小型语言模型进行指令分解，同时结合几何信息进行目标定位，以实现云独立的导航。
技术框架：整体架构包括三个主要模块：1) 小型语言模型的评估与选择；2) 混合语义-几何目标定位框架；3) Edge-BehAV系统的集成，确保在户外环境中的有效导航。
关键创新：首次系统性评估了边缘可部署的小型语言模型在导航指令分解中的表现，提出的目标定位框架显著提高了定位精度，且计算成本低于传统方法。
关键设计：在目标定位中，采用开放词汇物体检测和LiDAR几何信息，设计了轻量级的网络结构，优化了参数设置以降低计算复杂度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳的离线小型语言模型在指令分解性能上与最强的云API相当，且运行速度快约9倍，成功率在32次闭环户外试验中达到96.88%，目标定位的平均误差从2.05米降低至0.20米。
🎯 应用场景
该研究的潜在应用领域包括自主机器人导航、智能家居系统和无人驾驶车辆等。通过实现云独立的导航能力，机器人能够在户外环境中更灵活地执行任务，提升了其在实际应用中的可靠性和效率。
📄 摘要（原文）
Foundation-model-based vision-language navigation (VLN) has advanced autonomous robot navigation by enabling robots to interpret natural-language instructions, identify semantic goals, and follow user-specified behavioral rules. However, existing VLN systems rely heavily on cloud-hosted foundation models for language understanding and semantic grounding, limiting their applicability where network connectivity is unavailable and reliable metric goal localization is required. Although recent small language models (SLMs) enable fully onboard inference, their suitability for navigation instruction decomposition has not been systematically evaluated. This paper makes three contributions toward fully onboard VLN for outdoor environments. First, we present the first systematic benchmark of 17 edge-deployable SLMs against 4 online APIs for robotic navigation instruction decomposition, evaluating accuracy and latency on human-annotated instructions across three computing platforms and providing practical guidance for selecting onboard language models. Second, we propose a lightweight hybrid semantic-geometric goal localization framework that combines open-vocabulary object detection, prompted segmentation, and LiDAR geometry to estimate metric goals, while maintaining visual bearing guidance when reliable geometric observations are unavailable. Third, we integrate these advances into Edge-BehAV, a fully onboard extension of the BehAV architecture that enables cloud-independent behavior-guided navigation. Experimental results show that the best offline SLM matches the instruction decomposition performance of the strongest cloud API while running approximately 9x faster and without network connectivity. The proposed goal localization framework reduces mean goal-distance error from 2.05 m to 0.20 m at lower computational cost, and the complete system succeeds in 31 of 32 closed-loop outdoor trials.