LG-VLN: A Zero-Shot Vision-and-Language Navigation Framework with LangGraph State Orchestration

📄 arXiv: 2609.15098v1 📥 PDF

作者: Jianhe Zhao, Yanhua Qiu, Zhiyu Zhang, Zibo Zhao, Jinhua Xie

分类: cs.CV, cs.RO

发布日期: 2026-09-14

备注: 30 pages, 4 figures

💡 一句话要点

提出LG-VLN框架以解决连续环境下的视觉语言导航问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 零样本学习 单目视觉 状态编排 3D重建 语义一致性 深度学习

📋 核心要点

  1. 现有的视觉语言导航方法在未见的3D环境中执行自然语言指令时，常常依赖额外的传感器，导致空间语义不一致的问题。
  2. LG-VLN框架通过共享视觉特征和LangGraph状态编排，提出了一种基于单目相机的零样本解决方案，能够有效进行导航。
  3. 在R2R-CE val-unseen拆分的实验中，LG-VLN达到了21.3%的成功率，相较于现有方法有显著提升，验证了其有效性。

📝 摘要（中文）

连续环境视觉语言导航（VLN-CE）需要在未见的3D环境中解释自然语言指令并执行连续的低级动作。现有方法通常依赖于LiDAR、全景相机或额外传感器，几何映射和语义导航的视觉表示分离可能导致长轨迹的空间语义不一致。我们提出了LG-VLN，一个基于单目相机的零样本框架，采用共享视觉特征和基于LangGraph的状态编排。一个在线前馈3D重建网络预测深度、相机姿态和密集点云，以进行代理姿态估计和全局地图融合。几何和导航共享密集的CleanDIFT特征，语义一致性拒绝错误的帧间对应关系，而目标实例约束定义视觉参考，其相似性与局部BLIP-2图像-文本相关性结合形成语义值图。在R2R-CE val-unseen拆分的固定550集子集上，LG-VLN实现了21.3%的成功率和12.1%的路径长度加权成功率。消融实验表明，共享语义特征改善了导航，进一步通过结合视觉相似性和图像-文本相关性得到了提升。结果表明，使用单目RGB的零样本VLN-CE中，共享视觉表示和明确的状态编排是有效的。代码将公开发布以便复现。

🔬 方法详解

问题定义：本论文旨在解决在未见3D环境中进行视觉语言导航时，现有方法依赖额外传感器导致的空间语义不一致问题。

核心思路：提出LG-VLN框架，通过共享视觉特征和LangGraph状态编排，实现基于单目相机的零样本导航，避免了对额外传感器的依赖。

技术框架：整体架构包括一个在线前馈3D重建网络，用于预测深度、相机姿态和密集点云，结合CleanDIFT特征和BLIP-2图像-文本相关性，形成语义值图。LangGraph用于指令解析、几何感知、路径规划等。

关键创新：最重要的创新在于将视觉特征共享与状态编排结合，形成一个有向状态图，允许条件转移和模块化恢复机制，从而提升了导航的准确性和鲁棒性。

关键设计：采用CleanDIFT特征进行语义一致性处理，利用目标实例约束定义视觉参考，结合局部BLIP-2相关性形成语义值图，确保了导航过程中的语义一致性。实验中使用的损失函数和网络结构经过精心设计，以优化导航性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在R2R-CE val-unseen拆分的实验中，LG-VLN实现了21.3%的成功率和12.1%的路径长度加权成功率，相较于基线方法有显著提升，验证了共享视觉表示和状态编排的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟现实等场景，能够有效提升机器在复杂环境中的自主导航能力。未来，LG-VLN框架有望推动更广泛的视觉语言理解与交互技术的发展。

📄 摘要（原文）

Continuous-environment vision-and-language navigation (VLN-CE) requires interpreting natural-language instructions in unseen 3D environments and executing continuous low-level actions. Existing methods often depend on LiDAR, panoramic cameras, or extra sensors; separate geometric-mapping and semantic-navigation visual representations can cause long-trajectory spatial-semantic inconsistencies. We propose LG-VLN, a monocular zero-shot framework with shared visual features and LangGraph-based state orchestration. An online feed-forward 3D reconstruction network predicts depth, camera poses, and dense point clouds for agent-pose estimation and global map fusion. Geometry and navigation share dense CleanDIFT features: semantic consistency rejects incorrect inter-frame correspondences, while target-instance constraints define visual references whose similarity combines with local BLIP-2 image-text relevance to form a semantic value map. LangGraph represents instruction parsing, geometric perception, semantic value updates, path planning, action execution, and failure recovery as a directed state graph with conditional transitions, persistent state, and modular recovery mechanisms. On a fixed 550-episode subset of the R2R-CE val-unseen split, LG-VLN achieves 21.3% success and 12.1% success weighted by path length. Ablations show shared semantic features improve navigation, further boosted by combining visual similarity and image-text relevance. Results establish shared visual representations and explicit state orchestration as effective for zero-shot VLN-CE using monocular RGB alone. Code will be publicly released for reproducibility.