HaltNav: Reactive Visual Halting over Lightweight Topological Priors for Robust Vision-Language Navigation

📄 arXiv: 2603.12696v1 📥 PDF

作者: Pingcong Li, Zihui Yu, Bichi Zhang, Sören Schwertfeger

分类: cs.RO, cs.CV

发布日期: 2026-03-13

💡 一句话要点

HaltNav：基于轻量级拓扑先验的反应式视觉停止导航，提升视觉语言导航的鲁棒性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 拓扑先验 反应式导航 环境变化 MLLM 机器人导航 自主导航 OpenStreetMap

📋 核心要点

  1. 现有VLN方法依赖精确的逐步指令，缺乏对环境变化的适应性，且通常依赖计算量大的2D/3D度量地图。
  2. HaltNav利用轻量级的文本osmAG进行全局规划，并结合MLLM进行高级任务理解和局部异常检测，实现鲁棒导航。
  3. 通过反应式视觉停止机制和数据合成流程，HaltNav在环境变化下显著提升了长程VLN的鲁棒性，无需繁琐指令。

📝 摘要（中文）

本文提出了一种名为HaltNav的分层导航框架，旨在提升视觉语言导航（VLN）在开放词汇、面向目标的自主导航中的鲁棒性。HaltNav结合了基于文本的轻量级OpenStreetMap Area Graph (osmAG)的全局规划能力，以及VLN的局部探索和指令理解能力。该方法利用基于MLLM的“大脑”模块进行高级任务理解和障碍感知，将全局路径转化为局部执行片段。同时，通过“反应式视觉停止”（RVH）机制检测局部异常，更新osmAG并触发重新规划。为了有效训练停止能力，论文引入了一个数据合成流程，利用生成模型向场景中注入真实障碍物。实验结果表明，HaltNav在无需繁琐语言指令的情况下优于基线方法，并显著提高了环境变化下长程视觉语言导航的鲁棒性。

🔬 方法详解

问题定义：视觉语言导航（VLN）任务旨在让智能体根据自然语言指令在真实环境中导航到目标位置。现有方法通常依赖于精确的、逐步的指令，并且对环境变化（如封闭的门、拥挤的通道）非常敏感。此外，许多方法依赖于计算量大的2D/3D度量地图，这限制了它们在资源受限环境中的应用。因此，如何在环境变化下实现鲁棒、高效的视觉语言导航是一个关键问题。

核心思路：HaltNav的核心思路是将全局规划和局部执行相结合，利用轻量级的拓扑先验（osmAG）进行全局路径规划，并使用视觉语言导航（VLN）进行局部探索和指令理解。通过一个基于MLLM的“大脑”模块，将全局路径分解为局部执行片段，并监控局部环境的变化。当检测到异常时，系统会停止当前执行，更新拓扑地图，并重新规划路径。

技术框架：HaltNav框架包含以下几个主要模块：1) osmAG模块：提供环境的拓扑先验知识。2) MLLM大脑模块：负责高级任务理解、全局路径规划和局部异常检测。3) VLN执行器：根据大脑模块提供的局部指令进行导航。4) 反应式视觉停止（RVH）模块：检测局部环境中的异常，并触发重新规划。整体流程是：大脑模块根据osmAG和目标指令生成局部子指令，VLN执行器执行子指令，RVH模块监控环境，如果检测到异常，则更新osmAG并由大脑模块重新规划。

关键创新：HaltNav的关键创新在于：1) 轻量级拓扑先验：使用易于获取和维护的文本osmAG代替计算量大的度量地图。2) 反应式视觉停止（RVH）机制：能够实时检测局部环境中的异常，并触发重新规划，从而提高导航的鲁棒性。3) 数据合成流程：通过生成模型向场景中注入真实障碍物，从而有效训练停止能力。

关键设计：1) MLLM大脑模块：使用大型语言模型进行任务理解和路径规划，具体模型选择未知。2) 反应式视觉停止（RVH）模块：具体实现细节未知，但其核心是检测视觉输入中的异常，例如检测到原本开放的门现在关闭。3) 数据合成流程：使用生成模型（具体模型未知）生成包含障碍物的场景，用于训练RVH模块。损失函数和网络结构等细节在论文中未明确说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HaltNav在长程视觉语言导航任务中表现出色，尤其是在环境发生变化的情况下。相较于基线方法，HaltNav在导航成功率和路径长度方面均有显著提升。具体性能数据和提升幅度在论文中进行了详细展示，证明了HaltNav的有效性和鲁棒性。

🎯 应用场景

HaltNav具有广泛的应用前景，例如在家庭服务机器人、自动驾驶、物流配送等领域。它可以帮助机器人在复杂、动态的环境中自主导航，完成各种任务。通过结合全局规划和局部感知，HaltNav能够提高机器人的导航效率和鲁棒性，使其能够更好地适应真实世界的挑战。

📄 摘要（原文）

Vision-and-Language Navigation (VLN) is shifting from rigid, step-by-step instruction following toward open-vocabulary, goal-oriented autonomy. Achieving this transition without exhaustive routing prompts requires agents to leverage structural priors. While prior work often assumes computationally heavy 2D/3D metric maps, we instead exploit a lightweight, text-based osmAG (OpenStreetMap Area Graph), a floorplan-level topological representation that is easy to obtain and maintain. However, global planning over a prior map alone is brittle in real-world deployments, where local connectivity can change (e.g., closed doors or crowded passages), leading to execution-time failures. To address this gap, we propose a hierarchical navigation framework HaltNav that couples the robust global planning of osmAG with the local exploration and instruction-grounding capability of VLN. Our approach features an MLLM-based brain module, which is capable of high-level task grounding and obstruction awareness. Conditioned on osmAG, the brain converts the global route into a sequence of localized execution snippets, providing the VLN executor with prior-grounded, goal-centric sub-instructions. Meanwhile, it detects local anomalies via a mechanism we term Reactive Visual Halting (RVH), which interrupts the local control loop, updates osmAG by invalidating the corresponding topology, and triggers replanning to orchestrate a viable detour. To train this halting capability efficiently, we introduce a data synthesis pipeline that leverages generative models to inject realistic obstacles into otherwise navigable scenes, substantially enriching hard negative samples. Extensive experiments demonstrate that our hierarchical framework outperforms several baseline methods without tedious language instructions, and significantly improves robustness for long-horizon vision-language navigation under environmental changes.