VLFM: Vision-Language Frontier Maps for Zero-Shot Semantic Navigation

📄 arXiv: 2312.03275v1 📥 PDF

作者: Naoki Yokoyama, Sehoon Ha, Dhruv Batra, Jiuguang Wang, Bernadette Bucher

分类: cs.RO, cs.AI

发布日期: 2023-12-06

💡 一句话要点

提出VLFM，利用视觉-语言模型实现零样本语义导航

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 语义导航 视觉-语言模型 零样本学习 机器人 前沿探索

📋 核心要点

  1. 现有语义导航方法泛化性不足，难以应对新环境和未见过的目标物体。
  2. VLFM利用视觉-语言模型，构建语言相关的价值地图，指导机器人探索最有希望的前沿区域。
  3. 实验表明，VLFM在多个数据集上取得SOTA结果，并在真实机器人Spot上成功部署。

📝 摘要（中文）

本文提出了一种零样本导航方法，即视觉-语言前沿地图（VLFM），其灵感来源于人类的推理方式，旨在导航至新环境中未见过的语义目标物体。VLFM从深度观测构建占据栅格地图以识别前沿区域，并利用RGB观测和预训练的视觉-语言模型生成语言相关的价值地图。然后，VLFM使用该地图来识别最有希望探索的前沿区域，以寻找给定目标物体类别的实例。在Habitat模拟器的Gibson、Habitat-Matterport 3D (HM3D)和Matterport 3D (MP3D)数据集中的照片级真实环境中评估了VLFM。值得注意的是，VLFM在所有三个数据集上都取得了最先进的结果，以路径长度加权成功率（SPL）衡量目标物体导航任务的性能。此外，我们展示了VLFM的零样本特性使其能够轻松部署在现实世界的机器人上，例如Boston Dynamics Spot移动操作平台。我们在Spot上部署了VLFM，并展示了其在没有环境先验知识的情况下，高效导航到现实世界办公楼内目标物体的能力。VLFM的成就突显了视觉-语言模型在推进语义导航领域方面具有广阔的潜力。

🔬 方法详解

问题定义：论文旨在解决零样本语义导航问题，即在没有见过的新环境中，导航到未见过的目标物体。现有方法通常依赖于特定环境的训练数据，泛化能力差，难以适应新的场景和目标。此外，如何有效地利用语义信息来指导探索也是一个挑战。

核心思路：论文的核心思路是利用预训练的视觉-语言模型，将视觉信息与语言信息相结合，生成一个语言相关的价值地图。该价值地图能够评估每个前沿区域探索的价值，从而引导机器人选择最有希望找到目标物体的区域进行探索。这种方法无需针对特定环境进行训练，具有良好的泛化能力。

技术框架：VLFM的整体框架包括以下几个主要模块：1) 占据栅格地图构建模块：利用深度传感器数据构建环境的占据栅格地图，识别出未探索的前沿区域。2) 视觉-语言价值地图生成模块：利用RGB图像和预训练的视觉-语言模型（如CLIP）生成语言相关的价值地图，该地图为每个前沿区域赋予一个价值，表示该区域包含目标物体的可能性。3) 导航决策模块：根据价值地图，选择价值最高的前沿区域作为下一个探索目标，并控制机器人移动到该区域。

关键创新：VLFM的关键创新在于将视觉-语言模型引入到语义导航任务中，并利用其生成语言相关的价值地图。与传统的基于几何或手工特征的导航方法相比，VLFM能够更好地理解场景的语义信息，从而更有效地指导探索。此外，VLFM的零样本特性使其能够直接应用于新的环境和目标，无需重新训练。

关键设计：论文中使用了CLIP模型作为视觉-语言模型，并采用了一种基于softmax的价值函数来评估前沿区域的价值。具体来说，对于每个前沿区域，首先提取其对应的RGB图像的CLIP特征，然后计算该特征与目标物体描述的CLIP特征之间的相似度，最后使用softmax函数将相似度转换为概率值，作为该前沿区域的价值。此外，论文还采用了一种基于DWA（Dynamic Window Approach）的局部路径规划算法来控制机器人的运动。

📊 实验亮点

VLFM在Gibson、HM3D和MP3D三个数据集上取得了SOTA结果，显著优于现有的零样本语义导航方法。例如，在HM3D数据集上，VLFM的SPL指标比第二好的方法提高了约10%。此外，VLFM还在真实机器人Spot上成功部署，证明了其在实际应用中的可行性。

🎯 应用场景

VLFM具有广泛的应用前景，例如家庭服务机器人、安防巡逻机器人、仓库物流机器人等。它可以帮助机器人在未知环境中自主地寻找目标物体，完成各种任务。此外，该技术还可以应用于虚拟现实和增强现实领域，为用户提供更加智能和自然的交互体验。

📄 摘要（原文）

Understanding how humans leverage semantic knowledge to navigate unfamiliar environments and decide where to explore next is pivotal for developing robots capable of human-like search behaviors. We introduce a zero-shot navigation approach, Vision-Language Frontier Maps (VLFM), which is inspired by human reasoning and designed to navigate towards unseen semantic objects in novel environments. VLFM builds occupancy maps from depth observations to identify frontiers, and leverages RGB observations and a pre-trained vision-language model to generate a language-grounded value map. VLFM then uses this map to identify the most promising frontier to explore for finding an instance of a given target object category. We evaluate VLFM in photo-realistic environments from the Gibson, Habitat-Matterport 3D (HM3D), and Matterport 3D (MP3D) datasets within the Habitat simulator. Remarkably, VLFM achieves state-of-the-art results on all three datasets as measured by success weighted by path length (SPL) for the Object Goal Navigation task. Furthermore, we show that VLFM's zero-shot nature enables it to be readily deployed on real-world robots such as the Boston Dynamics Spot mobile manipulation platform. We deploy VLFM on Spot and demonstrate its capability to efficiently navigate to target objects within an office building in the real world, without any prior knowledge of the environment. The accomplishments of VLFM underscore the promising potential of vision-language models in advancing the field of semantic navigation. Videos of real-world deployment can be viewed at naoki.io/vlfm.