LLM+MAP: Bimanual Robot Task Planning using Large Language Models and Planning Domain Definition Language

📄 arXiv: 2503.17309v1 📥 PDF

作者: Kun Chu, Xufeng Zhao, Cornelius Weber, Stefan Wermter

分类: cs.RO, cs.AI

发布日期: 2025-03-21

备注: Code and video are available at https://github.com/Kchu/LLM-MAP

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM+MAP框架，利用大语言模型和多智能体规划实现双臂机器人任务规划

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双臂机器人 任务规划 大型语言模型 多智能体规划 机器人推理

📋 核心要点

  1. 现有双臂机器人任务规划方法难以兼顾长时程推理的准确性和任务分解与分配的效率。
  2. LLM+MAP框架结合了LLM的推理能力和多智能体规划，实现双臂任务的有效分解、分配和规划。
  3. 实验表明，LLM+MAP在规划时间、成功率和规划步骤减少率等方面优于直接使用LLM进行规划的方法。

📝 摘要（中文）

双臂机器人操作具有显著的通用性，但也因双臂之间空间和时间协调的复杂性而带来挑战。现有工作主要关注于提升机器人手臂达到人类水平的操作技能，而对长时程任务规划的关注较少。大型语言模型（LLMs）凭借其卓越的上下文学习和零样本生成能力，已被应用于各种机器人平台以促进任务规划。然而，LLMs在长时程推理和复杂机器人任务中仍存在错误和幻觉，无法保证计划的逻辑正确性。先前的工作，如LLM+P，使用符号规划器扩展了LLMs。但是，没有成功应用于双臂机器人。双臂操作不可避免地会带来新的挑战，不仅需要有效的任务分解，还需要高效的任务分配。为了应对这些挑战，本文提出了一种双臂规划框架LLM+MAP，该框架集成了LLM推理和多智能体规划，从而实现自动化、有效和高效的双臂任务规划。我们在各种不同复杂程度的长时程操作任务上进行了模拟实验。我们的方法使用GPT-4o作为后端，并将其性能与直接由LLMs（包括GPT-4o、V3以及最近强大的推理模型o1和R1）生成的计划进行比较。通过分析规划时间、成功率、组借方和规划步骤减少率等指标，我们证明了LLM+MAP的卓越性能，同时也提供了对机器人推理的见解。代码可在https://github.com/Kchu/LLM-MAP获取。

🔬 方法详解

问题定义：论文旨在解决双臂机器人在长时程任务中的自动化规划问题。现有方法，特别是直接使用大型语言模型（LLMs）进行规划，容易出现长时程推理错误和幻觉，导致规划结果不合理或无法执行。此外，双臂操作需要同时考虑任务分解和分配，这增加了规划的复杂性。

核心思路：论文的核心思路是将LLM的强大推理能力与多智能体规划相结合。LLM负责生成高层次的任务分解和初步规划，而多智能体规划器则负责优化任务分配和生成具体的执行方案，从而保证规划的逻辑正确性和执行效率。

技术框架：LLM+MAP框架包含两个主要模块：LLM推理模块和多智能体规划模块。首先，LLM接收任务描述，生成任务分解方案和初步的动作序列。然后，多智能体规划模块将这些信息转化为规划领域定义语言（PDDL）的形式，并使用规划器进行优化，最终生成可执行的双臂机器人动作序列。

关键创新：该方法最重要的创新在于将LLM的语义理解和推理能力与多智能体规划器的优化能力相结合，从而克服了LLM在长时程任务规划中的局限性。此外，该框架能够自动进行任务分解和分配，显著提高了双臂机器人任务规划的效率。

关键设计：LLM部分使用GPT-4o作为后端，负责生成任务分解和初步规划。多智能体规划器使用PDDL作为中间表示，以便利用现有的规划算法进行优化。论文中没有明确提及关键的参数设置或损失函数，这部分可能依赖于所使用的具体LLM和规划器的默认配置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM+MAP框架在各种长时程操作任务中表现出色。与直接使用GPT-4o、V3以及其他推理模型（o1和R1）进行规划相比，LLM+MAP在规划时间、成功率和规划步骤减少率等方面均有显著提升，验证了该框架的有效性。

🎯 应用场景

该研究成果可应用于各种需要双臂机器人协同操作的场景，例如：自动化装配、医疗手术辅助、家庭服务等。通过自动化任务规划，可以显著提高双臂机器人的工作效率和智能化水平，降低人工干预的需求，从而推动机器人技术在各行业的广泛应用。

📄 摘要（原文）

Bimanual robotic manipulation provides significant versatility, but also presents an inherent challenge due to the complexity involved in the spatial and temporal coordination between two hands. Existing works predominantly focus on attaining human-level manipulation skills for robotic hands, yet little attention has been paid to task planning on long-horizon timescales. With their outstanding in-context learning and zero-shot generation abilities, Large Language Models (LLMs) have been applied and grounded in diverse robotic embodiments to facilitate task planning. However, LLMs still suffer from errors in long-horizon reasoning and from hallucinations in complex robotic tasks, lacking a guarantee of logical correctness when generating the plan. Previous works, such as LLM+P, extended LLMs with symbolic planners. However, none have been successfully applied to bimanual robots. New challenges inevitably arise in bimanual manipulation, necessitating not only effective task decomposition but also efficient task allocation. To address these challenges, this paper introduces LLM+MAP, a bimanual planning framework that integrates LLM reasoning and multi-agent planning, automating effective and efficient bimanual task planning. We conduct simulated experiments on various long-horizon manipulation tasks of differing complexity. Our method is built using GPT-4o as the backend, and we compare its performance against plans generated directly by LLMs, including GPT-4o, V3 and also recent strong reasoning models o1 and R1. By analyzing metrics such as planning time, success rate, group debits, and planning-step reduction rate, we demonstrate the superior performance of LLM+MAP, while also providing insights into robotic reasoning. Code is available at https://github.com/Kchu/LLM-MAP.