SONAR: Semantic-Object Navigation with Aggregated Reasoning through a Cross-Modal Inference Paradigm

📄 arXiv: 2509.24321v1 📥 PDF

作者: Yao Wang, Zhirui Sun, Wenzheng Chi, Baozhi Jia, Wenjun Xu, Jiankun Wang

分类: cs.RO

发布日期: 2025-09-29

💡 一句话要点

SONAR：融合语义地图与视觉语言模型的跨模态推理导航方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义对象导航 视觉语言导航 跨模态推理 语义地图 视觉语言模型 机器人导航 未知环境

📋 核心要点

  1. 现有视觉语言导航方法泛化性差，或在语义线索弱时表现不佳，难以在复杂环境中有效导航。
  2. SONAR方法融合语义地图和视觉语言模型，通过跨模态推理提升导航的鲁棒性和泛化能力。
  3. 实验结果表明，SONAR在MP3D数据集上取得了显著的成功率和SPL提升，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为SONAR的语义对象导航方法，该方法通过跨模态推理范式进行聚合推理。针对现有模块化方法泛化性差以及基于视觉语言模型的方法在语义线索较弱时表现不佳的问题，SONAR集成了基于语义地图的目标预测模块和基于视觉语言模型的价值地图模块，从而在具有不同语义线索强度的未知环境中实现更鲁棒的导航，并有效平衡了泛化能力和场景适应性。在目标定位方面，提出了一种将多尺度语义地图与置信度地图相结合的策略，旨在减少目标对象的错误检测。在Gazebo模拟器上，利用最具挑战性的Matterport 3D（MP3D）数据集对SONAR进行了评估。实验结果表明，SONAR的成功率为38.4%，SPL为17.7%。

🔬 方法详解

问题定义：现有基于模块化的视觉语言导航方法依赖高质量训练数据，泛化能力不足。而基于视觉语言模型的方法在语义线索较弱的环境中表现不佳，无法有效利用场景中的语义信息进行导航。因此，如何在未知环境中实现更鲁棒、泛化性更强的语义对象导航是本文要解决的问题。

核心思路：SONAR的核心思路是将基于语义地图的目标预测模块与基于视觉语言模型的价值地图模块进行融合，利用各自的优势互补。语义地图提供场景的结构化信息，视觉语言模型提供强大的泛化能力，通过跨模态推理，实现更准确的目标定位和导航决策。

技术框架：SONAR的整体框架包含两个主要模块：语义地图目标预测模块和视觉语言模型价值地图模块。语义地图模块负责构建场景的语义地图，并预测目标对象的位置。视觉语言模型模块根据视觉输入和语言指令，生成价值地图，指示导航的方向。最终，两个模块的输出进行融合，指导机器人的导航行为。

关键创新：SONAR的关键创新在于跨模态推理范式，它将语义地图提供的结构化信息与视觉语言模型的泛化能力相结合，从而在不同语义线索强度的环境中实现更鲁棒的导航。此外，提出的多尺度语义地图与置信度地图融合策略，有效减少了目标对象的错误检测。

关键设计：在语义地图模块中，使用了多尺度语义地图来捕捉不同尺度的场景信息。置信度地图用于评估目标预测的可靠性。在视觉语言模型模块中，使用了预训练的视觉语言模型来提取视觉和语言特征。两个模块的融合方式未知，原文没有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SONAR在Matterport 3D数据集上进行了评估，取得了38.4%的成功率和17.7%的SPL。这些结果表明，SONAR在语义对象导航任务中具有显著的优势，能够有效地提升机器人的导航性能。与现有方法相比，SONAR在未知环境中的鲁棒性和泛化能力得到了显著提升。

🎯 应用场景

SONAR方法可应用于家庭服务机器人、仓储物流机器人、安防巡检机器人等领域。该方法能够使机器人在复杂、未知的环境中，根据人类指令准确地找到目标物体并完成导航任务，具有重要的实际应用价值和商业前景。未来，该方法有望进一步提升机器人的自主性和智能化水平。

📄 摘要（原文）

Understanding human instructions and accomplishing Vision-Language Navigation tasks in unknown environments is essential for robots. However, existing modular approaches heavily rely on the quality of training data and often exhibit poor generalization. Vision-Language Model based methods, while demonstrating strong generalization capabilities, tend to perform unsatisfactorily when semantic cues are weak. To address these issues, this paper proposes SONAR, an aggregated reasoning approach through a cross modal paradigm. The proposed method integrates a semantic map based target prediction module with a Vision-Language Model based value map module, enabling more robust navigation in unknown environments with varying levels of semantic cues, and effectively balancing generalization ability with scene adaptability. In terms of target localization, we propose a strategy that integrates multi-scale semantic maps with confidence maps, aiming to mitigate false detections of target objects. We conducted an evaluation of the SONAR within the Gazebo simulator, leveraging the most challenging Matterport 3D (MP3D) dataset as the experimental benchmark. Experimental results demonstrate that SONAR achieves a success rate of 38.4% and an SPL of 17.7%.