COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models

📄 arXiv: 2409.15146v3 📥 PDF

作者: Kehui Liu, Zixin Tang, Dong Wang, Zhigang Wang, Xuelong Li, Bin Zhao

分类: cs.RO, cs.AI

发布日期: 2024-09-23 (更新: 2025-03-29)

备注: Accepted by ICRA 2025

🔗 代码/项目: GITHUB

💡 一句话要点

COHERENT：基于大语言模型的多异构机器人协同任务规划框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多机器人协同 异构机器人 大语言模型 任务规划 强化学习

📋 核心要点

  1. 现有基于LLM的机器人任务规划方法主要关注单个或多个同构机器人，难以应对复杂异构多机器人协同任务。
  2. COHERENT框架通过PEFA机制，将复杂任务分解并分配给异构机器人，实现协同任务规划。
  3. 实验结果表明，COHERENT在成功率和执行效率方面显著优于现有方法，并在新基准测试中表现出色。

📝 摘要（中文）

本文提出COHERENT，一种新颖的基于大语言模型（LLM）的任务规划框架，用于异构多机器人系统的协同。该框架旨在解决复杂、长时程任务中，多种机器人（如四旋翼、机器狗、机械臂）在复杂动作空间下的协同问题。COHERENT设计了一种提案-执行-反馈-调整（PEFA）机制，将复杂任务分解并分配给各个机器人。中心化的任务分配器提出任务规划方案，将任务分解为子任务，并分配给机器人执行器。每个机器人执行器选择可行的动作来执行分配的子任务，并向任务分配器报告自反思反馈以进行计划调整。PEFA循环直到任务完成。此外，我们创建了一个具有挑战性的异构多机器人任务规划基准，包含100个复杂的长时程任务。实验结果表明，我们的工作在成功率和执行效率方面大大超过了以前的方法。

🔬 方法详解

问题定义：现有基于大语言模型的机器人任务规划方法主要集中于单个或同构机器人，难以处理涉及多种异构机器人（如无人机、机器狗、机械臂）在复杂动作空间下协同完成的复杂长时程任务。这些任务需要更精细的任务分解和机器人间的协调，现有方法难以有效解决。

核心思路：COHERENT的核心思路是利用大语言模型的推理能力，设计一个中心化的任务分配器，将复杂任务分解为更小的、可执行的子任务，并根据每个机器人的能力将这些子任务分配给相应的机器人执行器。通过机器人执行器执行子任务并提供反馈，任务分配器可以根据反馈调整整体规划，从而实现协同。

技术框架：COHERENT框架包含一个中心化的任务分配器和多个机器人执行器。任务分配器首先接收一个高层次的任务目标，然后利用大语言模型将其分解为一系列子任务，并根据机器人的能力和状态将这些子任务分配给不同的机器人执行器。机器人执行器接收到子任务后，选择合适的动作执行，并将执行结果和自反思反馈报告给任务分配器。任务分配器根据反馈调整后续的任务规划，直到整个任务完成。这个过程构成了一个提案-执行-反馈-调整（PEFA）循环。

关键创新：COHERENT的关键创新在于PEFA机制，它允许任务分配器根据机器人执行器的反馈动态调整任务规划。这种动态调整能力使得COHERENT能够更好地适应复杂环境和不确定性，从而提高任务的成功率和执行效率。此外，针对异构机器人系统，COHERENT能够根据不同机器人的能力进行任务分配，充分发挥每个机器人的优势。

关键设计：COHERENT框架的关键设计包括：1) 使用大语言模型进行任务分解和规划，利用其强大的推理能力；2) 设计PEFA循环，实现动态任务调整；3) 针对异构机器人，设计合适的任务分配策略，考虑不同机器人的能力和状态；4) 机器人执行器需要具备自反思能力，能够评估执行结果并提供反馈。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，COHERENT在异构多机器人任务规划方面取得了显著的性能提升。与现有方法相比，COHERENT在成功率方面提升了显著幅度（具体数值未知，原文未提供），并且在执行效率方面也表现更优。此外，COHERENT在包含100个复杂长时程任务的新基准测试中表现出色，验证了其在复杂环境下的适应性和鲁棒性。

🎯 应用场景

COHERENT框架可应用于各种需要多异构机器人协同的复杂任务场景，例如：灾难救援、智能仓储、智能制造、复杂环境探索等。通过有效协调不同类型的机器人，可以更高效、更安全地完成任务，提高生产效率和降低成本。未来，该研究有望推动多机器人协同技术的发展，并促进其在更多领域的应用。

📄 摘要（原文）

Leveraging the powerful reasoning capabilities of large language models (LLMs), recent LLM-based robot task planning methods yield promising results. However, they mainly focus on single or multiple homogeneous robots on simple tasks. Practically, complex long-horizon tasks always require collaboration among multiple heterogeneous robots especially with more complex action spaces, which makes these tasks more challenging. To this end, we propose COHERENT, a novel LLM-based task planning framework for collaboration of heterogeneous multi-robot systems including quadrotors, robotic dogs, and robotic arms. Specifically, a Proposal-Execution-Feedback-Adjustment (PEFA) mechanism is designed to decompose and assign actions for individual robots, where a centralized task assigner makes a task planning proposal to decompose the complex task into subtasks, and then assigns subtasks to robot executors. Each robot executor selects a feasible action to implement the assigned subtask and reports self-reflection feedback to the task assigner for plan adjustment. The PEFA loops until the task is completed. Moreover, we create a challenging heterogeneous multi-robot task planning benchmark encompassing 100 complex long-horizon tasks. The experimental results show that our work surpasses the previous methods by a large margin in terms of success rate and execution efficiency. The experimental videos, code, and benchmark are released at https://github.com/MrKeee/COHERENT.