Hierarchical Semantic-Augmented Navigation: Optimal Transport and Graph-Driven Reasoning for Vision-Language Navigation

📄 arXiv: 2606.01565v1 📥 PDF

作者: Xiang Fang, Wanlong Fang, Changshuo Wang

分类: cs.RO, cs.CV

发布日期: 2026-06-01

备注: Published in NeurIPS 2025, address some typos

💡 一句话要点

提出HSAN框架，通过分层语义增强导航解决连续环境下的视觉-语言导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言导航 分层语义 最优传输 强化学习 场景图 机器人导航 多模态学习

📋 核心要点

  1. 现有VLN-CE方法在长程任务中表现不佳，原因在于场景理解有限、规划效率低下以及缺乏鲁棒的决策框架。
  2. HSAN框架通过构建动态分层语义场景图、采用最优传输规划器和图感知强化学习策略，实现更有效的导航。
  3. 实验结果表明，HSAN在多个VLN-CE数据集上取得了最先进的性能，显著提升了导航成功率和泛化能力。

📝 摘要（中文）

本文提出了一种名为分层语义增强导航（HSAN）的框架，旨在解决连续环境下的视觉-语言导航（VLN-CE）问题。该问题要求智能体无缝集成自然语言指令和视觉观察，从而在复杂的3D室内空间中导航。HSAN框架包含三个协同创新点：首先，构建动态分层语义场景图，利用视觉-语言模型捕获从对象到区域到区域的多层次环境表示，从而实现细致的空间推理。其次，采用基于最优传输的拓扑规划器，基于Kantorovich对偶性，通过平衡语义相关性和空间可达性来选择长期目标，并具有理论上的最优性保证。第三，图感知强化学习策略确保精确的低级控制，在避开障碍物的同时导航到子目标。通过整合谱图理论、最优传输和先进的多模态学习，HSAN解决了先前工作中静态地图和启发式规划器的缺点。在多个具有挑战性的VLN-CE数据集上的大量实验表明，HSAN实现了最先进的性能，并在导航成功率和泛化到未见环境方面取得了显著改进。

🔬 方法详解

问题定义：论文旨在解决连续环境下的视觉-语言导航（VLN-CE）问题。现有方法通常依赖于静态地图和启发式规划器，导致场景理解不足，难以进行长程规划，并且在复杂环境中容易失效。这些方法缺乏对环境语义信息的有效利用，以及在长期规划中缺乏理论保证的最优性。

核心思路：HSAN的核心思路是通过构建分层语义场景图来增强智能体对环境的理解，并利用最优传输理论进行长期目标规划，最后通过图感知的强化学习策略实现精确的低级控制。这种分层结构和理论保证的最优性旨在克服现有方法的局限性，提高导航的成功率和泛化能力。

技术框架：HSAN框架主要包含三个模块：1) 动态分层语义场景图构建模块，利用视觉-语言模型提取多层次的语义信息；2) 基于最优传输的拓扑规划器，用于选择长期目标；3) 图感知强化学习策略模块，用于控制智能体导航到子目标并避开障碍物。整体流程是首先构建场景图，然后利用最优传输规划器选择目标，最后通过强化学习策略控制智能体导航。

关键创新：HSAN的关键创新在于三个方面：1) 动态分层语义场景图，能够捕获多层次的环境表示；2) 基于最优传输的拓扑规划器，具有理论上的最优性保证；3) 图感知强化学习策略，能够有效利用场景图信息进行导航。与现有方法相比，HSAN能够更有效地利用语义信息进行长期规划，并具有更强的鲁棒性。

关键设计：在动态分层语义场景图构建中，使用了视觉-语言模型（具体模型未知）来提取语义信息，并构建了从对象到区域到区域的多层次表示。最优传输规划器基于Kantorovich对偶性，平衡了语义相关性和空间可达性。图感知强化学习策略的具体网络结构和损失函数未知，但其关键在于利用了场景图的信息来指导智能体的行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HSAN在多个具有挑战性的VLN-CE数据集上取得了最先进的性能，显著提升了导航成功率和泛化能力。具体性能数据和对比基线未给出，但摘要强调了“significant improvements”，表明提升幅度较大。该框架通过整合谱图理论、最优传输和先进的多模态学习，解决了先前工作中静态地图和启发式规划器的缺点。

🎯 应用场景

HSAN框架具有广泛的应用前景，例如服务型机器人、自动驾驶、虚拟现实和增强现实等领域。它可以帮助机器人在复杂的室内环境中自主导航，完成各种任务，例如导览、清洁、配送等。该研究的实际价值在于提高了机器人的自主性和智能化水平，未来有望应用于更广泛的场景。

📄 摘要（原文）

Vision-Language Navigation in Continuous Environments (VLN-CE) poses a formidable challenge for autonomous agents, requiring seamless integration of natural language instructions and visual observations to navigate complex 3D indoor spaces. Existing approaches often falter in long-horizon tasks due to limited scene understanding, inefficient planning, and lack of robust decision-making frameworks. We introduce the \textbf{Hierarchical Semantic-Augmented Navigation (HSAN)} framework, a groundbreaking approach that redefines VLN-CE through three synergistic innovations. First, HSAN constructs a dynamic hierarchical semantic scene graph, leveraging vision-language models to capture multi-level environmental representations, from objects to regions to zones, enabling nuanced spatial reasoning. Second, it employs an optimal transport-based topological planner, grounded in Kantorovich's duality, to select long-term goals by balancing semantic relevance and spatial accessibility with theoretical guarantees of optimality. Third, a graph-aware reinforcement learning policy ensures precise low-level control, navigating subgoals while robustly avoiding obstacles. By integrating spectral graph theory, optimal transport, and advanced multi-modal learning, HSAN addresses the shortcomings of static maps and heuristic planners prevalent in prior work. Extensive experiments on multiple challenging VLN-CE datasets demonstrate that HSAN achieves state-of-the-art performance, with significant improvements in navigation success and generalization to unseen environments.