Instance-Enriched Semantic Maps for Visual Language Navigation

📄 arXiv: 2607.12630v1 📥 PDF

作者: Jiho Hong, Eunae Kang, Sanghyun Kim, Young-Sik Shin

分类: cs.RO, cs.CV

发布日期: 2026-07-14

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出实例丰富的语义地图以解决视觉语言导航中的对象细节不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 实例丰富语义地图 大型语言模型 2.5D映射 查询处理 智能代理 室内导航

📋 核心要点

  1. 现有视觉语言导航方法在对象细节和对多样查询的鲁棒性方面存在不足，限制了复杂室内环境中的导航能力。
  2. 本文提出实例丰富的语义地图，通过实例级的2.5D映射和LLM驱动的查询处理，提升了导航的准确性和灵活性。
  3. 实验结果显示，所提方法在对象检索上提升超过17%，在导航成功率上提升超过23%，显著优于基线方法。

📝 摘要（中文）

视觉语言导航（VLN）旨在使具身代理能够通过自然语言指令在复杂环境中导航。尽管现有方法已构建语义空间地图并利用大型语言模型（LLMs）进行推理和决策，但仍缺乏实例级对象细节和对多样化用户查询的鲁棒性，限制了在复杂室内环境中的可靠导航。为了解决这些问题，本文提出了实例丰富的语义地图，包含三个关键贡献：（1）通过开放词汇全景分割构建实例级的二维半（2.5D）丰富信息地图，保留垂直区分并捕捉小物体，同时存储多样的语义属性和丰富的自然语言描述；（2）基于LLM的目标选择实现鲁棒的查询处理，动态路由查询并通过分数级融合整合输出，确保在多样查询表述中的一致目标选择；（3）存储效率高的语义表示，相比三维场景图方法减少约96%的存储需求，同时保留足够的空间信息用于导航。实验表明，所提方法在对象检索和导航成功率上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言导航系统在复杂室内环境中缺乏实例级对象细节和对多样化用户查询的鲁棒性的问题。现有方法往往无法有效处理复杂的用户指令，导致导航效果不佳。

核心思路：提出实例丰富的语义地图，通过构建2.5D地图和基于LLM的查询处理，增强系统对环境的理解和响应能力，从而提高导航的准确性和灵活性。

技术框架：整体框架包括三个主要模块：实例级2.5D信息映射、LLM驱动的目标选择和高效的语义表示。首先，通过全景分割技术构建地图；其次，利用LLM处理用户查询并选择目标；最后，优化存储以提高效率。

关键创新：最重要的创新在于实例级2.5D映射的构建和基于LLM的动态查询处理。这种设计使得系统能够更好地理解和响应复杂的指令，显著提升了导航性能。

关键设计：在技术细节上，采用开放词汇全景分割来捕捉小物体和丰富的语义属性，同时通过分数级融合实现查询结果的整合。此外，存储方案经过优化，实现了约96%的存储需求减少。实验结果表明，所提方法在预测标准化的曲线下面积（AUC）上比3D基线提高超过27%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在对象检索上提升超过17%，在导航成功率上提升超过23%，并且在预测标准化的曲线下面积（AUC）上比3D基线提高超过27%。这些结果表明，实例丰富的语义地图显著增强了视觉语言导航的性能。

🎯 应用场景

该研究的潜在应用场景包括智能家居、机器人导航和增强现实等领域。通过提升视觉语言导航的准确性和鲁棒性，可以为用户提供更自然的交互体验，推动智能代理在复杂环境中的广泛应用。未来，该技术可能在自动化服务、智能城市和人机协作等方面产生深远影响。

📄 摘要（原文）

Visual Language Navigation (VLN) aims to enable an embodied agent to navigate complex environments by following natural language instructions. Recent approaches build semantic spatial maps and leverage Large Language Models (LLMs) for reasoning and decision making. Despite these advances, existing systems lack instance-level object detail and robustness to diverse user queries, limiting reliable navigation in complex indoor environments. To address these limitations, we propose Instance-Enriched Semantic Maps, a unified framework with three key contributions: (1) Instance-level two-and-a-half-dimensional (2.5D) rich information mapping that constructs maps from color and depth observations via open-vocabulary panoptic segmentation, preserving vertical distinctions and capturing small objects, while storing diverse semantic attributes and natural language captions enriched with room-level context. (2) Robust query processing via LLM-based target selection, which dynamically routes queries across type-specialized experts and integrates their outputs through score-level fusion, enabling consistent goal selection across diverse query formulations. (3) Storage-efficient semantic representation that achieves approximately 96% reduction compared to three-dimensional (3D) scene-graph approaches while preserving sufficient spatial information for navigation. The proposed 2.5D representation outperforms the 3D baseline by over 27% in prediction-normalized Area Under the Curve (AUC). In navigation experiments, our method achieves over 17% improvement in object retrieval and over 23% in navigation success compared to the baseline across diverse query types. The project page is available at https://rcilab.github.io/iesm_vln.