Towards Coarse-grained Visual Language Navigation Task Planning Enhanced by Event Knowledge Graph

📄 arXiv: 2408.02535v1 📥 PDF

作者: Zhao Kaichen, Song Yaoxian, Zhao Haiquan, Liu Haoyu, Li Tiefeng, Li Zhixu

分类: cs.IR, cs.HC, cs.RO

发布日期: 2024-08-05

备注: 11 pages, 6 figures

💡 一句话要点

提出EventNav框架，利用事件知识图谱增强粗粒度视觉语言导航任务规划。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 粗粒度指令 事件知识图谱 知识增强 具身智能

📋 核心要点

  1. 现有VLN方法主要关注细粒度指令，忽略了日常生活中更常见的粗粒度抽象指令，导致智能体难以理解和执行。
  2. 论文提出EventNav框架，利用事件知识图谱VLN-EventKG增强智能体的导航规划能力，使其能够理解和执行粗粒度指令。
  3. 实验结果表明，EventNav在粗粒度指令VLN任务中表现出色，成功率提升超过5%，验证了知识增强方法的有效性。

📝 摘要（中文）

视觉语言导航(VLN)是具身智能的重要研究方向。它旨在使智能体理解周围环境并完成导航任务。VLN指令可分为粗粒度和细粒度命令。细粒度命令逐步描述包含子任务的完整任务。相比之下，粗粒度命令给出一个抽象的任务描述，更符合人类习惯。现有工作大多关注VLN任务中的前一种指令，忽略了属于日常场景的后一种抽象指令。为了克服抽象指令中的上述挑战，我们尝试通过事件知识增强来考虑VLN中的粗粒度指令。具体来说，我们首先提出了一个基于提示的框架，用于在多个主流基准数据集上为VLN整体提取事件知识图谱(命名为VLN-EventKG)。通过小型和大型语言模型的协作，我们实现了知识增强的导航规划(命名为EventNav)，用于具有粗粒度指令输入的VLN任务。此外，我们设计了一种新颖的动态历史回溯模块，以实时纠正潜在的错误动作规划。在各种公共基准上的实验结果表明，我们提出的知识增强方法在使用我们提出的VLN-EventKG的粗粒度指令VLN中具有优越性，成功率提高了5%以上。我们的项目可在https://sites.google.com/view/vln-eventkg上找到。

🔬 方法详解

问题定义：现有视觉语言导航(VLN)方法主要处理细粒度指令，即逐步描述任务的指令。然而，人类通常使用粗粒度指令，例如“去客厅”，这需要智能体进行更高级别的推理和规划。现有方法难以处理这种粗粒度指令，导致导航性能下降。

核心思路：论文的核心思路是利用事件知识图谱(EventKG)来增强智能体对粗粒度指令的理解和规划能力。EventKG包含关于常见事件和场景的知识，可以帮助智能体推断粗粒度指令背后的意图和步骤。通过将EventKG融入导航规划过程，智能体可以更好地理解粗粒度指令并生成更有效的导航策略。

技术框架：EventNav框架包含以下几个主要模块：1) VLN-EventKG构建模块：使用基于Prompt的方法，通过小型和大型语言模型协作，从多个VLN基准数据集中提取事件知识，构建VLN-EventKG。2) 知识增强的导航规划模块：将VLN-EventKG中的知识融入到导航规划过程中，指导智能体生成导航策略。3) 动态历史回溯模块：实时监测智能体的导航状态，并在检测到错误时进行回溯和纠正。

关键创新：该论文的关键创新在于：1) 提出了VLN-EventKG，这是一个专门为VLN任务设计的事件知识图谱。2) 提出了EventNav框架，该框架能够有效地利用VLN-EventKG来增强智能体对粗粒度指令的理解和规划能力。3) 提出了动态历史回溯模块，该模块能够实时纠正智能体的导航错误。

关键设计：VLN-EventKG的构建使用了Prompt方法，通过设计合适的Prompt，引导语言模型提取事件知识。知识增强的导航规划模块使用了注意力机制，将EventKG中的相关知识动态地融入到导航规划过程中。动态历史回溯模块使用了强化学习，训练智能体学习如何进行回溯和纠正。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EventNav框架在多个公共基准数据集上取得了显著的性能提升。在粗粒度指令VLN任务中，EventNav的成功率比现有方法提高了5%以上，证明了该方法的有效性。此外，消融实验验证了VLN-EventKG和动态历史回溯模块对性能提升的贡献。

🎯 应用场景

该研究成果可应用于智能家居、服务机器人等领域。例如，用户可以使用粗粒度指令控制智能家居设备，如“打扫客厅”，机器人可以根据EventKG推断出需要执行的具体步骤，如吸尘、拖地等。该研究还有助于提升机器人在复杂环境中的自主导航能力，使其能够更好地服务于人类。

📄 摘要（原文）

Visual language navigation (VLN) is one of the important research in embodied AI. It aims to enable an agent to understand the surrounding environment and complete navigation tasks. VLN instructions could be categorized into coarse-grained and fine-grained commands. Fine-grained command describes a whole task with subtasks step-by-step. In contrast, coarse-grained command gives an abstract task description, which more suites human habits. Most existing work focuses on the former kind of instruction in VLN tasks, ignoring the latter abstract instructions belonging to daily life scenarios. To overcome the above challenge in abstract instruction, we attempt to consider coarse-grained instruction in VLN by event knowledge enhancement. Specifically, we first propose a prompt-based framework to extract an event knowledge graph (named VLN-EventKG) for VLN integrally over multiple mainstream benchmark datasets. Through small and large language model collaboration, we realize knowledge-enhanced navigation planning (named EventNav) for VLN tasks with coarse-grained instruction input. Additionally, we design a novel dynamic history backtracking module to correct potential error action planning in real time. Experimental results in various public benchmarks show our knowledge-enhanced method has superiority in coarse-grained-instruction VLN using our proposed VLN-EventKG with over $5\%$ improvement in success rate. Our project is available at https://sites.google.com/view/vln-eventkg