Air-Ground Collaborative Vision-and-Language Navigation via Shared Bird's-Eye Maps

📄 arXiv: 2609.03483v2 📥 PDF

作者: Shuning Zhang, Liang Li, Yunheng Wang, Tao Wang, Yihang Kang, Renjing Xu

分类: cs.RO, cs.AI

发布日期: 2026-09-03 (更新: 2026-09-04)

备注: 8 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出AGC-VLN以解决空地协作视觉语言导航问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 无人机 无人地面车辆 协作机制 鸟瞰图 路径规划 闭环控制 空间推理

📋 核心要点

  1. 现有方法主要解决单一代理任务，缺乏有效的空地协作机制，导致性能不稳定。
  2. 论文提出AGC-VLN，通过将导航任务分解为语义推理和几何执行，建立了空地协作的共享鸟瞰图。
  3. 在CARLA-Air的实验中，AGC-VLN实现了77.0%的联合成功率，较单一代理提升了27.0%，显示出显著的协作效果。

📝 摘要（中文）

空地协作视觉语言导航（VLN）将无人机（UAV）与全球鸟瞰图结合，无人地面车辆（UGV）与局部第一人称视角相结合，但这一设置尚未得到充分探索。现有的无训练方法解决单一代理任务，但缺乏协作机制。本文建立了AGC-VLN，这是首个无训练的空地协作VLN基线。其关键在于将导航分解为基于视觉语言模型（VLM）的语义推理和确定性几何执行，暴露出协作接口。通过共享鸟瞰图，UGV获得全球空间上下文，规划路径并执行，同时UAV进行目标定位。实验结果显示，AGC-VLN在CARLA-Air的Town10HD场景中达到77.0%的联合成功率，较单一代理提升了27.0%。

🔬 方法详解

问题定义：本文旨在解决空地协作视觉语言导航中的协作机制不足的问题。现有的训练-free方法主要针对单一代理，缺乏有效的协作能力，导致在复杂环境中的导航性能不佳。

核心思路：AGC-VLN的核心思路是将导航任务分解为两个部分：基于视觉语言模型的语义推理和确定性的几何执行。通过这种分解，UAV和UGV能够有效协作，利用各自的视角优势。

技术框架：整体架构包括UAV和UGV的协作模块。UAV提供全球鸟瞰图，并在其上渲染UGV的位姿和目标标记，UGV则从中获取全球空间信息，规划路径并执行。

关键创新：AGC-VLN的主要创新在于建立了共享鸟瞰图的协作接口，使得UGV能够在其第一人称视角无法提供的情况下，获取全球上下文信息。这一设计与现有方法的单一代理模式形成了鲜明对比。

关键设计：在技术细节上，AGC-VLN采用了冻结的视觉语言模型进行路径规划，并实现了闭环控制。此外，UAV使用了3D-SPF算法进行目标定位，提升了导航的精确性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CARLA-Air的Town10HD场景中，AGC-VLN达到了77.0%的联合成功率，相较于单一代理（UAV，50.0%）提升了27.0%。此外，AGC-VLN超越了最强的单一代理基线（Travel UAV，53.0%）24.0个百分点，显示出UAV与UGV之间的互补性。

🎯 应用场景

该研究的潜在应用领域包括智能城市导航、无人机配送、搜索与救援等场景。通过提升空地协作的导航能力，AGC-VLN能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Air-ground collaborative Vision-and-Language Navigation (VLN) pairs an unmanned aerial vehicle (UAV) with a global bird's-eye view and an unmanned ground vehicle (UGV) with a local first-person view, yet the setting remains largely unexplored: existing training-free methods solve single-agent tasks but offer no collaboration mechanism, and a recent CARLA-Air evaluation found no stable cooperative behavior across five state-of-the-art VLA models; naive semantic communication or bidirectional coupling even degrades performance. We establish AGC-VLN (Air-Ground Collaborative VLN), the first training-free baseline for air-ground collaborative VLN. The key insight is that training-free methods decompose navigation into VLM-based semantic reasoning and deterministic geometric execution, exposing a collaboration interface: the UAV's global view, over which it renders the UGV's reported pose and the VLM-anchored target as CAR/GOAL markers with distance labels, yielding a shared bird's-eye map. From this map, the UGV acquires global spatial context its first-person view cannot provide, plans a road-following path with a frozen VLM, and executes it under closed-loop control; in parallel, the UAV runs 3D-SPF, a spatial-search upgrade of SPF that localizes the target in the downward view and flies toward it. On 100 closed-loop episodes in CARLA-Air's Town10HD scene, AGC-VLN reaches a 77.0% joint success rate, a collaboration gain of +27.0% over the weaker individual agent (the UAV, 50.0%), and exceeds the strongest published single-agent baseline (Travel UAV, 53.0%) by 24.0 points, stemming from the complementarity of the UAV's global view and the UGV's road-following execution. Project page: https://github.com/ZSN2024/AGC-VLN.