WareFly-VLA: A Vision-Language-Action Framework for UAV Navigation and Human Tracking in Smart Warehouses

📄 arXiv: 2610.08526v1 📥 PDF

作者: Thinh D. Le, Son T. Nguyen, Duong Q. Nguyen, Dung D. Le, Ngo Anh Vien, H. Nguyen-Xuan

分类: cs.RO, cs.CV

发布日期: 2026-10-06

备注: 41 pages, 35 figures, 11 tables

💡 一句话要点

提出WareFly-VLA框架以解决无人机在智能仓库中的语言引导导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机导航 语言引导 智能仓库 多模态学习 数据集构建 人类跟踪 控制命令 基准测试

📋 核心要点

  1. 现有方法在智能仓库中缺乏有效的语言引导无人机控制，尤其是在复杂环境下的导航和人类跟踪。
  2. 本文提出WareFly-VLA框架，结合视觉、语言和动作，创建了一个用于无人机导航和人类跟踪的真实数据集。
  3. 实验结果表明，当前的语言条件空中控制在泛化能力上存在显著不足，且连续动作建模优于离散动作标记。

📝 摘要（中文）

Vision-Language-Action (VLA) 模型在机器人操作和地面移动导航中取得了显著成果，但在智能仓库中，语言条件下的无人机（UAV）控制仍然未得到充分探索，主要受限于缺乏同时提供连续低级飞行动作、细粒度自然语言目标描述和现实工业环境的基准。本文提出了WareFly-VLA，一个用于语言引导人类搜索、定位和跟踪的光照真实无人机VLA框架和数据集。该数据集包含507个由人类遥控的飞行集和8504个高分辨率RGB过渡图像，每个图像都配有目标工人的人类书写外观描述和同步的四自由度控制命令。研究涵盖了目标接近和跟随等空中任务，并在遮挡、远程搜索、高度变化和杂乱环境下进行。建立了四个开源VLA架构的统一基准，结果显示在严格的泛化设置下，语言条件的空中控制仍未解决，性能显著下降。

🔬 方法详解

问题定义：本文旨在解决在智能仓库中无人机的语言引导导航和人类跟踪问题。现有方法在复杂环境下的泛化能力不足，缺乏有效的基准数据集。

核心思路：提出WareFly-VLA框架，通过结合视觉、语言和动作信息，创建一个包含真实环境和人类描述的数据集，以支持无人机的语言引导控制。

技术框架：框架包括数据采集模块、语言描述生成模块和控制命令生成模块。数据采集模块通过NVIDIA Isaac Sim收集高分辨率RGB图像和控制命令，语言描述模块生成目标工人的外观描述，控制命令模块则实现无人机的飞行控制。

关键创新：最重要的创新在于建立了一个光照真实的无人机VLA框架和数据集，提供了连续低级飞行动作和细粒度的自然语言描述，填补了现有研究的空白。

关键设计：在数据集构建中，采用了四自由度控制命令和人类书写的描述，确保了数据的多样性和真实性。同时，采用了统一的基准测试协议，确保不同VLA架构的可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在严格的泛化设置下，语言条件的空中控制性能显著下降，且连续动作建模在多个任务中表现优于离散动作标记。当前的基础模型接口在从地面到空中平台的迁移能力较差，表明该领域仍需进一步研究。

🎯 应用场景

该研究的潜在应用领域包括智能仓库中的无人机自动化操作、物流管理和人机协作等。通过实现语言引导的无人机导航，可以提高仓库作业的效率和安全性，未来可能在更广泛的工业场景中推广应用。

📄 摘要（原文）

Vision-Language-Action (VLA) models have achieved impressive results in robotic manipulation and ground-mobile navigation, yet language-conditioned control of unmanned aerial vehicles (UAVs) in smart warehouses remains largely unexplored, hindered by the lack of benchmarks that jointly provide continuous low-level flight actions, fine-grained natural-language target descriptions, and realistic industrial environments. This paper introduces WareFly-VLA, a photorealistic UAV VLA framework and dataset for language-guided human search, localization, and tracking in warehouse environments. It contains 507 human-teleoperated flight episodes and 8,504 high-resolution RGB transitions collected in NVIDIA Isaac Sim, each paired with a human-written appearance description of the target worker and a synchronized four-degree-of-freedom control command. Two aerial tasks are covered: target approach and person following, under occlusion, long-range search, altitude variation, and clutter. A unified benchmark of four open-source VLA architectures (SmolVLA, GR00T N1.7, pi_0 and OpenVLA) is established under a leakage-free episode-level protocol at two control rates. The results show that language-conditioned aerial control in warehouses is far from solved: performance drops substantially under strict generalization settings, continuous action modeling consistently outperforms discrete action tokenization, only the forward channel is reliably learnable from a single frame, and current foundation-model interfaces transfer poorly from ground and humanoid embodiments to aerial platforms. The synchronized video, language, action, pose, and difficulty annotations further support world-model research. The dataset, baselines, and evaluation protocol are released to support language-grounded aerial autonomy in smart warehouses.