CaPo: Cooperative Plan Optimization for Efficient Embodied Multi-Agent Cooperation

📄 arXiv: 2411.04679v2 📥 PDF

作者: Jie Liu, Pan Zhou, Yingjun Du, Ah-Hwee Tan, Cees G. M. Snoek, Jan-Jakob Sonke, Efstratios Gavves

分类: cs.AI, cs.CV, cs.MA

发布日期: 2024-11-07 (更新: 2025-03-01)

备注: Accepted in ICLR2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出CaPo：一种用于具身多智能体高效协作的协同规划优化方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体协作 具身智能体 大型语言模型 协同规划 任务规划 进度自适应 ThreeDworld

📋 核心要点

  1. 现有基于LLM的具身智能体协作方法缺乏长期战略规划，导致效率低下和任务失败。
  2. CaPo通过元计划生成和进度自适应调整，使智能体能够进行长期战略规划和动态协作。
  3. 实验表明，CaPo在多智能体任务中显著提高了任务完成率和效率，优于现有方法。

📝 摘要（中文）

本文旨在解决基于大型语言模型（LLM）的具身智能体之间的协作问题，其中智能体必须合作才能实现共同目标。先前的方法通常即兴且不连贯地执行动作，缺乏长期战略和协同规划，导致冗余步骤、失败，甚至在诸如搜索和救援任务等复杂任务中产生严重后果，而在这些任务中，讨论和协同计划至关重要。为了解决这个问题，我们提出了协同规划优化（CaPo）来提高基于LLM的具身智能体的协作效率。受到人类协作方案的启发，CaPo通过两个阶段提高协作效率：1）元计划生成，以及2）进度自适应的元计划和执行。在第一阶段，所有智能体分析任务，讨论并协作创建一个元计划，该计划将任务分解为具有详细步骤的子任务，确保长期战略和连贯的计划以实现高效协调。在第二阶段，智能体根据元计划执行任务，并通过多轮讨论，根据他们的最新进展（例如，发现目标对象）动态调整它。这种基于进度的调整消除了冗余动作，从而提高了智能体的整体协作效率。在ThreeDworld多智能体运输和通信观察与帮助任务上的实验结果表明，与最先进的方法相比，CaPo实现了更高的任务完成率和效率。代码已在https://github.com/jliu4ai/CaPo发布。

🔬 方法详解

问题定义：论文旨在解决基于LLM的具身智能体在复杂任务中的协作效率问题。现有方法缺乏长期规划和协同，导致智能体行动不连贯、冗余，最终影响任务完成率，尤其是在需要高度协作的任务中，例如搜索救援。

核心思路：CaPo的核心思路是模仿人类协作模式，通过预先制定元计划和根据执行进度动态调整计划来提高协作效率。这种方法允许智能体在执行任务前进行战略性思考，并在执行过程中根据实际情况进行调整，从而减少不必要的行动。

技术框架：CaPo包含两个主要阶段：1) 元计划生成阶段：所有智能体分析任务，通过多轮讨论，共同制定一个包含详细步骤的元计划，将任务分解为子任务。2) 进度自适应的元计划和执行阶段：智能体根据元计划执行任务，并根据自身进度（例如发现目标）通过多轮讨论动态调整元计划。整体流程是一个循环迭代的过程，智能体不断根据环境反馈和自身进度更新计划。

关键创新：CaPo的关键创新在于其协同规划和进度自适应机制。与以往方法不同，CaPo不是让智能体即时反应，而是鼓励智能体进行预先规划和动态调整，从而实现更高效的协作。这种方法更接近人类的协作方式，能够更好地应对复杂任务。

关键设计：元计划的生成依赖于LLM的推理能力，通过prompt工程引导LLM生成合理的任务分解和步骤规划。进度自适应则依赖于智能体之间的通信机制，智能体需要能够有效地共享信息，并根据共享信息调整各自的行动计划。具体的参数设置和损失函数等细节在论文中未详细说明，可能依赖于具体的LLM和任务环境。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CaPo在ThreeDworld多智能体运输和通信观察与帮助任务上显著优于现有方法，实现了更高的任务完成率和效率。具体数据未在摘要中给出，但强调了CaPo在复杂协作任务中的优越性。

🎯 应用场景

CaPo具有广泛的应用前景，例如在搜索救援、协同制造、智能家居等领域。它可以应用于多机器人协同作业，提高任务完成效率和安全性。此外，CaPo的设计思想也可以借鉴到其他多智能体协作场景中，例如自动驾驶车队的协同控制。

📄 摘要（原文）

In this work, we address the cooperation problem among large language model (LLM) based embodied agents, where agents must cooperate to achieve a common goal. Previous methods often execute actions extemporaneously and incoherently, without long-term strategic and cooperative planning, leading to redundant steps, failures, and even serious repercussions in complex tasks like search-and-rescue missions where discussion and cooperative plan are crucial. To solve this issue, we propose Cooperative Plan Optimization (CaPo) to enhance the cooperation efficiency of LLM-based embodied agents. Inspired by human cooperation schemes, CaPo improves cooperation efficiency with two phases: 1) meta-plan generation, and 2) progress-adaptive meta-plan and execution. In the first phase, all agents analyze the task, discuss, and cooperatively create a meta-plan that decomposes the task into subtasks with detailed steps, ensuring a long-term strategic and coherent plan for efficient coordination. In the second phase, agents execute tasks according to the meta-plan and dynamically adjust it based on their latest progress (e.g., discovering a target object) through multi-turn discussions. This progress-based adaptation eliminates redundant actions, improving the overall cooperation efficiency of agents. Experimental results on the ThreeDworld Multi-Agent Transport and Communicative Watch-And-Help tasks demonstrate that CaPo achieves much higher task completion rate and efficiency compared with state-of-the-arts.The code is released at https://github.com/jliu4ai/CaPo.