ParaCook: On Time-Efficient Planning for Multi-Agent Systems

📄 arXiv: 2510.11608v1 📥 PDF

作者: Shiqi Zhang, Xinbei Ma, Yunqing Xu, Zouying Cao, Pengrui Lu, Haobo Yuan, Tiancheng Shen, Zhuosheng Zhang, Hai Zhao, Ming-Hsuan Yang

分类: cs.AI

发布日期: 2025-10-13

🔗 代码/项目: GITHUB

💡 一句话要点

ParaCook：面向多智能体系统的时间效率型规划基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 协同规划 时间效率 大型语言模型 基准测试 Overcooked游戏 并行规划

📋 核心要点

  1. 现有智能体基准测试忽略了多智能体系统在并行和异步操作中的时间效率，导致实际应用中效率低下。
  2. ParaCook通过模拟烹饪任务，提供了一个可扩展的评估框架，专注于多智能体系统的时间效率型协同规划。
  3. 实验表明，现有LLMs在处理并行动作和智能体间协调方面存在不足，但在抽象任务中展现出并行优化的潜力。

📝 摘要（中文）

大型语言模型(LLMs)在规划长时程、真实世界任务方面表现出强大的推理能力，但现有的智能体基准侧重于任务完成，而忽略了并行和异步操作中的时间效率。为了解决这个问题，我们提出了ParaCook，一个用于时间效率型协同规划的基准。受到Overcooked游戏的启发，ParaCook提供了一个环境，用于各种具有挑战性的多智能体系统交互规划，这些系统被实例化为烹饪任务，并具有简化的动作空间，以隔离战略并行规划的核心挑战。通过对最先进的LLMs的全面评估，我们发现当前的方法实现了次优的计划，这些计划在并行动作或协调方面存在困难。我们的分析还揭示了LLMs在抽象任务上的潜力，在这些任务中，它们可以专注于高层次的并行优化。ParaCook提供了一个具有可调整复杂性的可扩展评估框架，为开发和评估时间效率型多智能体规划奠定了基础。代码和数据可在https://github.com/zsq259/ParaCook获得。

🔬 方法详解

问题定义：论文旨在解决多智能体系统中时间效率型协同规划的问题。现有方法，特别是基于LLM的规划方法，虽然在长时程任务规划上展现了能力，但往往忽略了并行操作和智能体间的协调，导致效率低下。现有的智能体基准测试也主要关注任务完成度，而缺乏对时间效率的评估。

核心思路：论文的核心思路是设计一个专门用于评估多智能体系统时间效率的基准测试环境。通过简化动作空间，将重点放在智能体间的战略并行规划上。借鉴Overcooked游戏，将多智能体协作规划问题实例化为烹饪任务，从而提供一个直观且可控的测试环境。

技术框架：ParaCook基准测试环境主要包含以下几个部分：1) 烹饪任务环境：模拟厨房环境，智能体需要在环境中执行各种烹饪动作。2) 简化的动作空间：为了突出并行规划的挑战，动作空间被简化。3) 可扩展的评估框架：允许调整任务的复杂性，从而实现对不同规划算法的评估。4) 基于LLM的智能体：使用LLM作为智能体的决策引擎，并评估其在ParaCook环境中的表现。

关键创新：ParaCook的关键创新在于其专注于多智能体系统的时间效率评估。与以往的基准测试不同，ParaCook强调智能体在并行和异步操作中的效率，并提供了一个可控的环境来研究这一问题。此外，ParaCook还提供了一个可扩展的评估框架，允许研究人员调整任务的复杂性，从而更好地评估不同规划算法的性能。

关键设计：ParaCook的关键设计包括：1) 烹饪任务的设计，需要智能体进行协作和并行操作才能高效完成。2) 简化的动作空间，使得研究人员可以专注于战略规划而非底层控制。3) 可调整的任务复杂度，允许对不同能力的智能体进行评估。4) 评估指标的设计，用于衡量智能体在时间效率方面的表现，例如任务完成时间、并行操作的比例等。具体的参数设置和损失函数等细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的LLMs在ParaCook基准测试中表现出次优的规划能力，尤其是在处理并行动作和智能体间协调方面存在困难。尽管如此，LLMs在抽象任务中展现出并行优化的潜力。ParaCook为评估和改进多智能体系统的时间效率型规划能力提供了一个有价值的平台。

🎯 应用场景

ParaCook的研究成果可应用于机器人协同作业、智能交通调度、以及分布式计算等领域。通过评估和改进多智能体系统的规划能力，可以提高这些系统在实际应用中的效率和性能，例如，在仓库机器人协同搬运货物时，可以更高效地完成任务，降低运营成本。

📄 摘要（原文）

Large Language Models (LLMs) exhibit strong reasoning abilities for planning long-horizon, real-world tasks, yet existing agent benchmarks focus on task completion while neglecting time efficiency in parallel and asynchronous operations. To address this, we present ParaCook, a benchmark for time-efficient collaborative planning. Inspired by the Overcooked game, ParaCook provides an environment for various challenging interaction planning of multi-agent systems that are instantiated as cooking tasks, with a simplified action space to isolate the core challenge of strategic parallel planning. Through a comprehensive evaluation of state-of-the-art LLMs, we find that current approaches achieve suboptimal plans, which struggle with parallel actions or coordination. Our analysis also reveals LLMs' potential on abstract tasks where they can focus on high-level parallel optimization. ParaCook provides a scalable evaluation framework with adjustable complexity, establishing a foundation for developing and assessing time efficiency-aware multi-agent planning. The code and data are available at https://github.com/zsq259/ParaCook.