NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models

📄 arXiv: 2407.12366v2 📥 PDF

作者: Gengze Zhou, Yicong Hong, Zun Wang, Xin Eric Wang, Qi Wu

分类: cs.CV, cs.AI, cs.CL, cs.RO

发布日期: 2024-07-17 (更新: 2024-09-20)

备注: Accepted to ECCV 2024

💡 一句话要点

NavGPT-2：释放大型视觉语言模型在机器人导航中的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 大型语言模型 机器人导航 视觉语言对齐 指令跟随

📋 核心要点

  1. 现有VLN任务中，直接应用LLM的智能体性能与专用模型相比存在差距，且LLM的语言交互能力未被充分利用。
  2. NavGPT-2通过对齐视觉内容，使冻结的LLM具备视觉理解能力，并结合导航策略网络，提升动作预测和导航推理能力。
  3. 实验证明，NavGPT-2方法具有数据效率，有效缩小了基于LLM的智能体与SOTA VLN专用模型之间的性能差距。

📝 摘要（中文）

本文旨在利用大型语言模型（LLMs）在指令跟随机器人导航方面的显著进展，探索LLMs在导航推理和语言理解方面的泛化潜力。研究发现，将LLMs集成到视觉语言导航（VLN）任务中时，智能体的性能与之前的专业模型相比存在显著差距，并且语言在智能体交互中的解释和沟通能力未得到充分利用。本文旨在弥合VLN专业模型和基于LLM的导航范式之间的差距，同时保持LLMs在生成语言导航推理方面的解释能力。通过对齐冻结LLM中的视觉内容，本文实现了LLMs的视觉观察理解，并探索了一种将LLMs和导航策略网络相结合的方法，以实现有效的动作预测和导航推理。实验结果表明，该方法具有数据效率，并消除了基于LM的智能体与最先进的VLN专家之间的差距。

🔬 方法详解

问题定义：现有基于LLM的视觉语言导航方法，在性能上不如专门训练的VLN模型，并且没有充分利用LLM在语言理解和推理方面的优势，尤其是在导航过程中的交互式沟通方面。现有的方法通常难以在数据效率和性能之间取得平衡。

核心思路：本文的核心思路是将视觉信息有效地融入到预训练的LLM中，使其具备视觉感知能力，并利用LLM强大的语言推理能力来指导导航策略。通过对齐视觉特征和语言特征，使得LLM能够理解环境信息，并生成合理的导航指令。

技术框架：NavGPT-2的技术框架主要包含以下几个模块：1) 视觉编码器：用于提取环境的视觉特征。2) 视觉-语言对齐模块：将视觉特征映射到LLM的语言嵌入空间。3) LLM：使用冻结的LLM进行语言推理和指令生成。4) 导航策略网络：根据LLM生成的指令，预测下一步的动作。整个流程是，首先通过视觉编码器提取视觉特征，然后通过视觉-语言对齐模块将其输入到LLM中，LLM根据当前环境和目标指令生成导航指令，最后导航策略网络根据指令预测下一步的动作。

关键创新：本文的关键创新在于视觉-语言对齐模块的设计，它能够有效地将视觉信息融入到LLM中，使得LLM能够理解环境信息并生成合理的导航指令。此外，本文还探索了一种将LLM和导航策略网络相结合的方法，充分利用了LLM的语言推理能力和导航策略网络的动作预测能力。

关键设计：视觉-语言对齐模块使用线性层将视觉特征映射到LLM的语言嵌入空间。损失函数包括导航任务的交叉熵损失和语言生成的损失。LLM采用冻结的GPT-2模型，只训练视觉-语言对齐模块和导航策略网络。导航策略网络采用简单的多层感知机。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NavGPT-2在VLN任务上取得了显著的性能提升，缩小了与SOTA VLN专用模型之间的差距。更重要的是，NavGPT-2在数据效率方面表现出色，仅需少量数据即可达到较高的性能水平。这表明NavGPT-2具有很强的泛化能力和实用价值。

🎯 应用场景

NavGPT-2具有广泛的应用前景，例如在家庭服务机器人、自动驾驶、无人机导航等领域。它可以帮助机器人在复杂的环境中自主导航，并与人类进行自然的语言交互。该研究的成果有助于提升机器人的智能化水平，使其更好地服务于人类。

📄 摘要（原文）

Capitalizing on the remarkable advancements in Large Language Models (LLMs), there is a burgeoning initiative to harness LLMs for instruction following robotic navigation. Such a trend underscores the potential of LLMs to generalize navigational reasoning and diverse language understanding. However, a significant discrepancy in agent performance is observed when integrating LLMs in the Vision-and-Language navigation (VLN) tasks compared to previous downstream specialist models. Furthermore, the inherent capacity of language to interpret and facilitate communication in agent interactions is often underutilized in these integrations. In this work, we strive to bridge the divide between VLN-specialized models and LLM-based navigation paradigms, while maintaining the interpretative prowess of LLMs in generating linguistic navigational reasoning. By aligning visual content in a frozen LLM, we encompass visual observation comprehension for LLMs and exploit a way to incorporate LLMs and navigation policy networks for effective action predictions and navigational reasoning. We demonstrate the data efficiency of the proposed methods and eliminate the gap between LM-based agents and state-of-the-art VLN specialists.