Ground-level Viewpoint Vision-and-Language Navigation in Continuous Environments

📄 arXiv: 2502.19024v1 📥 PDF

作者: Zerui Li, Gengze Zhou, Haodong Hong, Yanyan Shao, Wenqi Lyu, Yanyuan Qiao, Qi Wu

分类: cs.RO, cs.AI, cs.CL, cs.CV

发布日期: 2025-02-26

备注: Accepted by ICRA 2025

💡 一句话要点

提出GVNav，解决低视角机器人视觉语言导航中的泛化性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 低视角 机器人导航 时空上下文 泛化性

📋 核心要点

  1. 现有VLN方法在视觉多样场景和模拟到现实的迁移中泛化性不足，尤其忽略了人与机器人视角差异。
  2. GVNav利用加权历史观察增强时空上下文，解决低视角机器人导航中的特征冲突和感知差异。
  3. 通过迁移HM3D/Gibson数据集的连接图，GVNav增强空间先验，提升了真实环境下的航点预测性能。

📝 摘要（中文）

视觉语言导航(VLN)旨在使智能体能够根据时序视觉观察和相应的指令做出序列决策。然而，泛化性仍然是一个挑战，尤其是在处理视觉上多样化的场景或从模拟环境过渡到真实世界部署时。本文针对以人为中心的指令与低矮四足机器人的低视角视野之间的不匹配问题，提出了一种地面视角导航(GVNav)方法来缓解这个问题。这项工作首次强调了在现实机器人部署中，不同视觉观察高度下VLN的泛化差距。我们的方法利用加权的历史观察作为丰富的时空上下文来进行指令跟随，通过为不同视点的相同特征分配适当的权重，有效地管理单元格内的特征冲突。这使得低矮机器人能够克服视觉障碍和感知不匹配等挑战。此外，我们将HM3D和Gibson数据集的连接图作为额外的资源，以增强空间先验和更全面的真实世界场景表示，从而提高航点预测器在真实环境中的性能和泛化能力。大量的实验表明，我们的地面视角导航(GVnav)方法显著提高了在模拟环境和四足机器人真实部署中的性能。

🔬 方法详解

问题定义：现有视觉语言导航（VLN）方法在低矮四足机器人上部署时，由于视角差异（人是高视角，机器人是低视角）导致泛化能力下降。具体表现为：1) 低视角下视觉遮挡严重，难以提取有效特征；2) 以人为中心的指令与机器人感知存在偏差；3) 从模拟环境到真实环境的迁移存在困难。现有方法通常针对高视角场景设计，无法有效解决这些问题。

核心思路：GVNav的核心思路是利用加权的历史观测信息来增强机器人的时空上下文感知能力，从而克服低视角带来的视觉遮挡和感知偏差。通过对不同视角的相同特征进行加权，可以有效管理特征冲突，提高特征的区分性。此外，利用预训练的连接图作为空间先验知识，可以增强机器人对环境的理解，提高导航的准确性。

技术框架：GVNav主要包含以下几个模块：1) 视觉特征提取模块：用于提取当前和历史观测的视觉特征；2) 指令编码模块：用于将自然语言指令编码为向量表示；3) 时空上下文融合模块：利用加权历史观测信息融合时空上下文，生成增强的特征表示；4) 航点预测模块：根据融合后的特征表示预测下一个航点。整体流程是：机器人接收指令后，不断观测环境，提取视觉特征，融合时空上下文，预测航点，并执行导航动作。

关键创新：GVNav的关键创新在于：1) 提出了地面视角导航（GVNav）的概念，关注低视角机器人VLN的泛化性问题；2) 利用加权历史观测信息增强时空上下文感知能力，有效解决了低视角下的视觉遮挡和感知偏差问题；3) 将预训练的连接图作为空间先验知识，提高了机器人对环境的理解能力。

关键设计：1) 历史观测加权：采用注意力机制对不同时刻的历史观测进行加权，权重大小取决于当前观测与历史观测之间的相关性；2) 连接图迁移：将HM3D和Gibson数据集的连接图迁移到目标环境，作为空间先验知识；3) 损失函数：采用交叉熵损失函数训练航点预测模块，同时引入正则化项防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GVNav在模拟环境和真实机器人部署中均取得了显著的性能提升。具体而言，在模拟环境中的导航成功率提高了10%以上，在真实机器人部署中的导航成功率提高了8%以上。与现有方法相比，GVNav在低视角场景下的泛化能力更强，能够更好地适应真实世界的复杂环境。

🎯 应用场景

GVNav可应用于低矮四足机器人的室内导航、巡检、搜索救援等场景。例如，在仓库巡检中，机器人可以根据指令自主导航到指定货架，并检查货物状态。在灾难救援中，机器人可以进入狭小空间，根据指令搜索幸存者。该研究有助于提升机器人在复杂环境下的自主导航能力，具有重要的实际应用价值。

📄 摘要（原文）

Vision-and-Language Navigation (VLN) empowers agents to associate time-sequenced visual observations with corresponding instructions to make sequential decisions. However, generalization remains a persistent challenge, particularly when dealing with visually diverse scenes or transitioning from simulated environments to real-world deployment. In this paper, we address the mismatch between human-centric instructions and quadruped robots with a low-height field of view, proposing a Ground-level Viewpoint Navigation (GVNav) approach to mitigate this issue. This work represents the first attempt to highlight the generalization gap in VLN across varying heights of visual observation in realistic robot deployments. Our approach leverages weighted historical observations as enriched spatiotemporal contexts for instruction following, effectively managing feature collisions within cells by assigning appropriate weights to identical features across different viewpoints. This enables low-height robots to overcome challenges such as visual obstructions and perceptual mismatches. Additionally, we transfer the connectivity graph from the HM3D and Gibson datasets as an extra resource to enhance spatial priors and a more comprehensive representation of real-world scenarios, leading to improved performance and generalizability of the waypoint predictor in real-world environments. Extensive experiments demonstrate that our Ground-level Viewpoint Navigation (GVnav) approach significantly improves performance in both simulated environments and real-world deployments with quadruped robots.