VLPG-Nav: Object Navigation Using Visual Language Pose Graph and Object Localization Probability Maps

📄 arXiv: 2408.08301v1 📥 PDF

作者: Senthil Hariharan Arul, Dhruva Kumar, Vivek Sugirtharaj, Richard Kim, Xuewei, Qi, Rajasimman Madhivanan, Arnie Sen, Dinesh Manocha

分类: cs.RO

发布日期: 2024-08-15

💡 一句话要点

VLPG-Nav：利用视觉语言位姿图和物体定位概率图实现物体导航

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言导航 物体定位 位姿图 概率地图 机器人 物体居中 家庭服务机器人

📋 核心要点

  1. 现有物体导航方法主要关注导航到物体附近，忽略了将物体置于相机视野中心这一重要环节。
  2. VLPG-Nav构建视觉语言位姿图，并结合物体定位概率图，实现更精确的物体导航和居中。
  3. 实验结果表明，VLPG-Nav在物体定位、遮挡处理和物体居中方面均优于现有方法。

📝 摘要（中文）

本文提出了一种名为VLPG-Nav的视觉语言导航方法，旨在引导机器人在家庭场景中导航至指定物体。与现有方法主要关注将机器人导航至物体附近不同，本文进一步考虑了将物体置于机器人相机视野中心这一挑战。该方法构建了一个视觉语言位姿图(VLPG)，作为VL嵌入的空间地图。给定一个开放词汇的物体查询，利用VLPG规划物体导航的视点。考虑到物体遮挡、位移以及机器人定位误差等现实挑战，本文构建了一个物体定位概率图，利用机器人当前的观测和先前的VLPG信息。当物体不可见时，更新概率图并计算替代视点。此外，提出了一种物体居中公式，局部调整机器人的姿态，使物体位于相机视野中心。通过仿真和真实实验，验证了该方法在定位物体、绕过遮挡以及将物体置于相机视野中心方面的有效性，并在评估指标上优于所选基线。

🔬 方法详解

问题定义：现有视觉语言导航方法主要关注将机器人导航到目标物体附近，但忽略了将目标物体精确地置于机器人相机视野中心这一关键问题。实际应用中，由于物体遮挡、位置偏移以及机器人自身的定位误差，即使机器人到达目标物体附近，也可能无法直接观察到目标物体，更难以将其居中显示。

核心思路：VLPG-Nav的核心思路是构建一个视觉语言位姿图（VLPG），该图将环境中的视觉信息和语言信息结合起来，形成一个可供机器人导航的空间地图。此外，引入物体定位概率图，用于估计目标物体在当前环境中的位置概率分布，从而解决物体遮挡和定位误差带来的问题。通过不断更新概率图和调整机器人姿态，最终实现目标物体的精确定位和居中显示。

技术框架：VLPG-Nav的整体框架包含以下几个主要模块：1) 视觉语言位姿图构建：利用视觉和语言信息构建环境的VLPG。2) 视点规划：给定目标物体的语言查询，利用VLPG规划导航视点。3) 物体定位概率图构建与更新：根据机器人观测和VLPG信息，构建并更新物体定位概率图。4) 视点调整：当物体不可见时，根据概率图计算新的视点。5) 物体居中：局部调整机器人姿态，使物体位于相机视野中心。

关键创新：VLPG-Nav的关键创新在于：1) 提出了视觉语言位姿图（VLPG），将视觉和语言信息融合到空间地图中。2) 引入了物体定位概率图，用于处理物体遮挡和定位误差。3) 提出了物体居中公式，实现了目标物体在相机视野中的精确定位和居中显示。与现有方法相比，VLPG-Nav能够更有效地解决实际场景中的物体导航问题。

关键设计：VLPG的构建涉及视觉特征提取和语言嵌入。视觉特征可以使用预训练的卷积神经网络提取，语言嵌入可以使用预训练的语言模型（如BERT）获得。物体定位概率图可以使用高斯混合模型表示，其参数可以通过贝叶斯滤波进行更新。物体居中公式可以通过优化一个目标函数来实现，该目标函数旨在最小化物体在图像中的偏移量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在仿真和真实实验中，VLPG-Nav在物体定位、遮挡处理和物体居中方面均表现出优越的性能。实验结果表明，VLPG-Nav能够显著提高物体导航的成功率，并能够有效地将目标物体置于相机视野中心。具体性能数据未知，但论文强调其优于所选基线。

🎯 应用场景

VLPG-Nav具有广泛的应用前景，可应用于家庭服务机器人、仓储物流机器人、安防巡检机器人等领域。例如，在家庭环境中，机器人可以根据用户的语音指令，准确地找到并展示指定的物品。在仓储物流场景中，机器人可以高效地定位和搬运货物。在安防巡检领域，机器人可以自动巡逻并识别异常物体。

📄 摘要（原文）

We present VLPG-Nav, a visual language navigation method for guiding robots to specified objects within household scenes. Unlike existing methods primarily focused on navigating the robot toward objects, our approach considers the additional challenge of centering the object within the robot's camera view. Our method builds a visual language pose graph (VLPG) that functions as a spatial map of VL embeddings. Given an open vocabulary object query, we plan a viewpoint for object navigation using the VLPG. Despite navigating to the viewpoint, real-world challenges like object occlusion, displacement, and the robot's localization error can prevent visibility. We build an object localization probability map that leverages the robot's current observations and prior VLPG. When the object isn't visible, the probability map is updated and an alternate viewpoint is computed. In addition, we propose an object-centering formulation that locally adjusts the robot's pose to center the object in the camera view. We evaluate the effectiveness of our approach through simulations and real-world experiments, evaluating its ability to successfully view and center the object within the camera field of view. VLPG-Nav demonstrates improved performance in locating the object, navigating around occlusions, and centering the object within the robot's camera view, outperforming the selected baselines in the evaluation metrics.