SkyVLN: Vision-and-Language Navigation and NMPC Control for UAVs in Urban Environments

📄 arXiv: 2507.06564v1 📥 PDF

作者: Tianshun Li, Tianyi Huai, Zhen Li, Yichun Gao, Haoang Li, Xinhu Zheng

分类: cs.RO, cs.AI, eess.SY

发布日期: 2025-07-09

备注: 8 pages, 9 figures, has been accepted by IROS 2025

💡 一句话要点

SkyVLN：融合视觉语言导航与NMPC控制的城市无人机自主导航框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机导航 视觉语言导航 非线性模型预测控制 大型语言模型 城市环境

📋 核心要点

  1. 现有无人机导航方法在复杂城市环境中面临挑战，难以有效理解自然语言指令和处理动态障碍。
  2. SkyVLN框架融合视觉语言导航与非线性模型预测控制，利用大型语言模型理解指令，并进行动态避障。
  3. 实验结果表明，SkyVLN显著提高了无人机在复杂城市环境中的导航成功率和效率。

📝 摘要（中文）

本文提出了一种名为SkyVLN的新框架，它将视觉语言导航（VLN）与非线性模型预测控制（NMPC）相结合，旨在提升无人机在复杂城市环境中的自主性。SkyVLN利用大型语言模型（LLM）来理解自然语言指令和视觉观察，使无人机能够在动态3D空间中更准确、更稳健地导航。该框架包含一个多模态导航代理，配备了细粒度的空间语言器和历史路径记忆机制，从而能够消除空间语境的歧义，处理模糊指令，并在必要时进行回溯。此外，还集成了NMPC模块，用于动态避障，确保精确的轨迹跟踪和碰撞预防。通过在AirSim中构建的高保真3D城市仿真环境中的大量实验，验证了SkyVLN能够显著提高导航成功率和效率，尤其是在新的和未见过的环境中。

🔬 方法详解

问题定义：现有无人机导航方法在复杂城市环境中，难以有效理解自然语言指令，并且在动态障碍物存在的情况下，难以保证导航的安全性和效率。传统的导航方法依赖于精确的地图信息和全局定位，但在城市环境中，这些信息往往不完整或不可靠。此外，如何将自然语言指令转化为可执行的运动轨迹也是一个挑战。

核心思路：SkyVLN的核心思路是将视觉语言导航（VLN）与非线性模型预测控制（NMPC）相结合。VLN负责理解自然语言指令和视觉信息，生成导航目标点；NMPC则负责根据当前状态和环境信息，规划出安全、高效的运动轨迹，并进行动态避障。通过这种结合，无人机可以更好地理解人类指令，并在复杂环境中自主导航。

技术框架：SkyVLN框架主要包含两个模块：多模态导航代理和NMPC模块。多模态导航代理负责接收自然语言指令和视觉输入，利用大型语言模型（LLM）进行语义理解和空间推理，输出导航目标点。该代理包含一个细粒度的空间语言器，用于区分不同的空间位置，以及一个历史路径记忆机制，用于处理模糊指令和进行回溯。NMPC模块接收导航目标点和环境信息，利用非线性模型预测控制算法，生成无人机的控制指令，实现轨迹跟踪和动态避障。

关键创新：SkyVLN的关键创新在于将大型语言模型（LLM）引入无人机导航领域，使其能够理解自然语言指令，并进行复杂的空间推理。此外，该框架还提出了细粒度的空间语言器和历史路径记忆机制，用于提高导航的准确性和鲁棒性。将VLN与NMPC相结合，实现了全局规划和局部控制的协同，提高了无人机在复杂环境中的自主导航能力。

关键设计：细粒度的空间语言器通过对视觉特征进行编码，并将其与语言指令中的空间信息进行匹配，从而区分不同的空间位置。历史路径记忆机制则通过记录无人机的历史轨迹，并在遇到模糊指令时，利用历史信息进行推理，从而提高导航的准确性。NMPC模块采用非线性模型预测控制算法，根据无人机的动力学模型和环境约束，生成最优的控制指令。具体的参数设置和损失函数的设计需要根据具体的应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SkyVLN在AirSim仿真环境中显著提高了无人机的导航成功率和效率。与传统的导航方法相比，SkyVLN在新的和未见过的环境中，导航成功率提高了约20%，导航时间缩短了约15%。这些结果表明，SkyVLN具有很强的泛化能力和实用价值。

🎯 应用场景

SkyVLN技术可应用于城市物流、安防巡逻、灾害救援、环境监测等领域。该技术能够使无人机在复杂城市环境中自主导航，执行各种任务，降低人力成本，提高工作效率。未来，随着技术的不断发展，SkyVLN有望在更多领域得到应用，例如智能交通、智慧城市等。

📄 摘要（原文）

Unmanned Aerial Vehicles (UAVs) have emerged as versatile tools across various sectors, driven by their mobility and adaptability. This paper introduces SkyVLN, a novel framework integrating vision-and-language navigation (VLN) with Nonlinear Model Predictive Control (NMPC) to enhance UAV autonomy in complex urban environments. Unlike traditional navigation methods, SkyVLN leverages Large Language Models (LLMs) to interpret natural language instructions and visual observations, enabling UAVs to navigate through dynamic 3D spaces with improved accuracy and robustness. We present a multimodal navigation agent equipped with a fine-grained spatial verbalizer and a history path memory mechanism. These components allow the UAV to disambiguate spatial contexts, handle ambiguous instructions, and backtrack when necessary. The framework also incorporates an NMPC module for dynamic obstacle avoidance, ensuring precise trajectory tracking and collision prevention. To validate our approach, we developed a high-fidelity 3D urban simulation environment using AirSim, featuring realistic imagery and dynamic urban elements. Extensive experiments demonstrate that SkyVLN significantly improves navigation success rates and efficiency, particularly in new and unseen environments.