Air-Ground Collaboration for Language-Specified Missions in Unknown Environments
作者: Fernando Cladera, Zachary Ravichandran, Jason Hughes, Varun Murali, Carlos Nieto-Granda, M. Ani Hsieh, George J. Pappas, Camillo J. Taylor, Vijay Kumar
分类: cs.RO, cs.AI
发布日期: 2025-05-14
备注: 19 pages, 24 figures, 7 tables. Submitted to T-FR
💡 一句话要点
提出基于LLM的空地协同系统，实现未知环境下自然语言任务规划与执行
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空地协同 自然语言任务规划 大型语言模型 语义地图 机器人导航
📋 核心要点
- 现有机器人系统难以理解高级意图的任务指令，尤其是在异构机器人团队中进行协同。
- 利用大型语言模型进行语义推理，结合在线构建并共享的语义-度量地图，实现空地协同任务规划。
- 在城市和乡村环境中，针对多种自然语言指令进行了实验验证，导航距离达到公里级别。
📝 摘要（中文）
本文提出了一种新型系统，该系统能够使无人机（UAV）和无人地面车辆（UGV）协同完成以自然语言指定的任务，并能实时响应规范的变更。该系统利用大型语言模型（LLM）支持的规划器，对在线构建的语义-度量地图进行推理，这些地图由空中和地面机器人机会性地共享。研究考虑了城市和乡村区域中以任务为导向的导航。系统必须推断与任务相关的语义，并通过语义地图主动获取信息。在地面和空地协同实验中，该系统在长达公里级的导航中，针对七种不同的自然语言规范进行了演示。
🔬 方法详解
问题定义：现有自主机器人系统通常需要低级别的指令，用户难以直接以自然语言指定任务意图。异构机器人团队的协同面临信息共享和行动协调的挑战，尤其是在通信不稳定的环境中。现有方法难以有效利用自然语言进行任务规划，并且缺乏对环境语义信息的充分理解和利用。
核心思路：本文的核心思路是利用大型语言模型（LLM）的强大语义理解和推理能力，将自然语言任务指令转化为可执行的机器人行动序列。通过构建和共享语义-度量地图，机器人能够理解环境中的语义信息，并根据任务需求主动获取信息。空地协同能够利用各自的优势，例如无人机提供全局视角，地面车辆进行精细操作。
技术框架：该系统的整体框架包含以下几个主要模块：1) 自然语言任务解析模块，利用LLM将自然语言指令解析为任务目标和约束。2) 语义-度量地图构建模块，无人机和地面车辆分别构建局部地图，并通过通信机会进行融合和共享。3) 基于LLM的任务规划模块，利用LLM对语义-度量地图进行推理，生成满足任务目标的行动序列。4) 运动控制模块，将行动序列转化为具体的机器人运动指令。
关键创新：该论文的关键创新在于将大型语言模型应用于空地协同机器人的任务规划中，实现了自然语言指令到机器人行动的端到端映射。通过语义-度量地图的构建和共享，机器人能够理解环境中的语义信息，并根据任务需求主动获取信息。此外，该系统还考虑了通信不稳定的情况，设计了鲁棒的协同策略。
关键设计：在任务规划模块中，LLM被用作一个规划器，输入包括自然语言指令、语义-度量地图和机器人状态，输出为行动序列。语义-度量地图采用概率栅格地图的形式，每个栅格包含语义标签和占据概率。通信策略采用机会主义通信，即当机器人之间建立通信连接时，立即进行地图和状态信息的共享。损失函数未知。
🖼️ 关键图片
📊 实验亮点
该系统在城市和乡村环境中进行了实验验证，针对七种不同的自然语言指令，实现了长达公里级的导航。实验结果表明，该系统能够有效理解自然语言指令，并根据环境信息进行任务规划和执行。具体的性能数据和对比基线未知，但实验结果证明了该系统在实际应用中的可行性。
🎯 应用场景
该研究成果可应用于搜索救援、环境监测、物流配送等领域。在这些场景中，用户可以通过自然语言指定任务，机器人团队能够自主规划和执行任务，无需人工干预。该技术还能促进人机协作，提高工作效率和安全性。未来，该技术有望应用于更复杂的任务场景，例如智能制造和智慧城市。
📄 摘要（原文）
As autonomous robotic systems become increasingly mature, users will want to specify missions at the level of intent rather than in low-level detail. Language is an expressive and intuitive medium for such mission specification. However, realizing language-guided robotic teams requires overcoming significant technical hurdles. Interpreting and realizing language-specified missions requires advanced semantic reasoning. Successful heterogeneous robots must effectively coordinate actions and share information across varying viewpoints. Additionally, communication between robots is typically intermittent, necessitating robust strategies that leverage communication opportunities to maintain coordination and achieve mission objectives. In this work, we present a first-of-its-kind system where an unmanned aerial vehicle (UAV) and an unmanned ground vehicle (UGV) are able to collaboratively accomplish missions specified in natural language while reacting to changes in specification on the fly. We leverage a Large Language Model (LLM)-enabled planner to reason over semantic-metric maps that are built online and opportunistically shared between an aerial and a ground robot. We consider task-driven navigation in urban and rural areas. Our system must infer mission-relevant semantics and actively acquire information via semantic mapping. In both ground and air-ground teaming experiments, we demonstrate our system on seven different natural-language specifications at up to kilometer-scale navigation.