FLEET: Formal Language-Grounded Scheduling for Heterogeneous Robot Teams
作者: Corban Rivera, Grayson Byrd, Meghan Booker, Bethany Kemp, Allison Gaines, Emma Holmes, James Uplinger, Celso M de Melo, David Handelman
分类: cs.RO
发布日期: 2025-10-08
💡 一句话要点
FLEET：面向异构机器人团队的基于形式语言的任务调度框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多机器人协同 任务调度 自然语言理解 混合规划 异构机器人
📋 核心要点
- 现有方法难以协调异构机器人团队，语言规划器易出错，形式化方法依赖封闭世界假设。
- FLEET将自然语言指令转化为优化的多机器人调度，融合LLM和形式化方法。
- 实验表明，FLEET在异构任务中优于现有生成式规划器，并在真实机器人上验证。
📝 摘要（中文）
从自由形式的自然语言指令协调异构机器人团队是一项挑战。纯语言规划器在长时程协调和幻觉问题上表现不佳，而纯形式化方法需要封闭世界的模型。我们提出了FLEET，一个混合的去中心化框架，可以将语言转化为优化的多机器人调度方案。LLM前端生成（i）带有持续时间和优先级的任务图，以及（ii）一个具有能力感知的机器人-任务适应度矩阵；形式化后端解决一个最小化完工时间的问题，同时底层机器人使用自主闭环控制执行其自由形式的子任务。在多个自由形式的语言引导的自主协调基准测试中，FLEET在异构任务的双机器人团队中，相对于最先进的生成式规划器，提高了成功率。消融实验表明，混合整数线性规划（MILP）主要改善了时间结构，而LLM衍生的适应度对于能力耦合的任务至关重要；它们共同提供了最高的整体性能。我们通过使用一对具有不相交能力的四足机器人的硬件试验，展示了向现实世界挑战的转化。
🔬 方法详解
问题定义：现有方法在处理异构机器人团队的自然语言指令时面临挑战。纯语言规划器难以进行长时程协调，容易产生幻觉，导致任务失败。纯形式化方法则需要预先定义完整的环境模型，难以适应真实世界的复杂性和不确定性。因此，如何将自然语言指令高效、可靠地转化为异构机器人团队的可执行任务调度是一个关键问题。
核心思路：FLEET的核心思路是将自然语言指令处理与形式化任务调度相结合，利用LLM的语言理解能力和MILP的优化能力。LLM负责将自然语言指令转化为任务图和机器人-任务适应度矩阵，MILP则根据这些信息生成优化的任务调度方案。这种混合方法既能处理自然语言的灵活性，又能保证任务调度的效率和可靠性。
技术框架：FLEET框架包含两个主要模块：LLM前端和形式化后端。LLM前端负责接收自然语言指令，并将其解析为任务图和机器人-任务适应度矩阵。任务图描述了任务之间的依赖关系和持续时间，机器人-任务适应度矩阵则描述了每个机器人执行每个任务的能力。形式化后端接收任务图和机器人-任务适应度矩阵，并使用MILP求解器生成优化的任务调度方案。最后，机器人根据调度方案执行各自的任务。
关键创新：FLEET的关键创新在于将LLM的语言理解能力与MILP的优化能力相结合，实现了一种混合的任务调度框架。这种框架既能处理自然语言的灵活性，又能保证任务调度的效率和可靠性。此外，FLEET还引入了能力感知的机器人-任务适应度矩阵，使得任务调度能够充分考虑机器人的异构能力。
关键设计：LLM前端使用预训练的LLM（具体模型未知）进行指令解析。任务图的节点表示任务，边表示任务之间的依赖关系。机器人-任务适应度矩阵的元素表示机器人执行任务的概率或得分。MILP的目标函数是最小化完工时间（makespan），约束条件包括任务依赖关系、机器人能力约束等。MILP求解器使用Gurobi（或其他商业或开源求解器，具体未知）进行求解。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FLEET在多个自由形式的语言引导的自主协调基准测试中，优于最先进的生成式规划器。在异构任务的双机器人团队中，FLEET显著提高了任务成功率。消融实验表明，MILP主要改善了时间结构，而LLM衍生的适应度对于能力耦合的任务至关重要。硬件实验使用一对具有不相交能力的四足机器人，验证了FLEET在真实世界中的可行性。
🎯 应用场景
FLEET可应用于各种需要多机器人协同完成任务的场景，例如：仓库自动化、搜索救援、环境监测、农业生产等。该框架能够根据自然语言指令，自动生成优化的任务调度方案，提高机器人团队的工作效率和自主性，降低人工干预的需求。未来，FLEET有望成为人机协作的重要工具，推动机器人技术在各行各业的应用。
📄 摘要（原文）
Coordinating heterogeneous robot teams from free-form natural-language instructions is hard. Language-only planners struggle with long-horizon coordination and hallucination, while purely formal methods require closed-world models. We present FLEET, a hybrid decentralized framework that turns language into optimized multi-robot schedules. An LLM front-end produces (i) a task graph with durations and precedence and (ii) a capability-aware robot--task fitness matrix; a formal back-end solves a makespan-minimization problem while the underlying robots execute their free-form subtasks with agentic closed-loop control. Across multiple free-form language-guided autonomy coordination benchmarks, FLEET improves success over state of the art generative planners on two-agent teams across heterogeneous tasks. Ablations show that mixed integer linear programming (MILP) primarily improves temporal structure, while LLM-derived fitness is decisive for capability-coupled tasks; together they deliver the highest overall performance. We demonstrate the translation to real world challenges with hardware trials using a pair of quadruped robots with disjoint capabilities.