Optimizing Sequential Multi-Step Tasks with Parallel LLM Agents
作者: Enhao Zhang, Erkang Zhu, Gagan Bansal, Adam Fourney, Hussein Mozannar, Jack Gerrits
分类: cs.MA, cs.AI
发布日期: 2025-07-11
备注: ICML 2025 Workshop on MAS
💡 一句话要点
M1-Parallel：并行LLM智能体加速多步骤序列任务
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 大型语言模型 并行计算 任务规划 异步通信
📋 核心要点
- 现有基于LLM的多智能体系统在复杂任务中存在高延迟问题，因为需要多次迭代推理。
- M1-Parallel框架并行运行多个智能体团队，探索不同的解决方案，利用异步消息传递提高效率。
- 实验表明，M1-Parallel通过提前终止策略加速，通过聚合策略提高任务完成率。
📝 摘要（中文）
基于大型语言模型（LLM）的多智能体系统在解决复杂任务方面展现出巨大潜力，它们将任务分解为子任务，并通过迭代的规划、执行、观察和改进来完成。然而，由于现实世界的问题通常需要多个迭代推理步骤，这些系统常常面临高延迟的挑战。为了解决这个问题，我们提出了M1-Parallel，一个并行运行多个多智能体团队的框架，以探索不同的解决方案路径。通过利用具有异步消息传递的事件驱动通信模型，M1-Parallel有效地利用了有效计划的内在多样性，从而降低端到端延迟或提高任务完成率。在复杂任务上的实验表明，采用提前终止策略的M1-Parallel在保持准确性的同时，实现了高达2.2倍的加速；而采用聚合策略的M1-Parallel则提高了任务完成率。我们进一步研究了旨在鼓励多样化执行计划的策略，但观察到与重复采样相比没有额外的性能提升。总的来说，这些发现强调了并行计划执行在优化多智能体系统以应对现实世界高复杂度推理任务方面的潜力。
🔬 方法详解
问题定义：论文旨在解决基于LLM的多智能体系统在处理复杂、多步骤序列任务时，由于需要多次迭代推理而导致的高延迟问题。现有的多智能体系统通常采用串行方式执行任务，即一个智能体团队完成一个推理周期后，才能开始下一个周期，这限制了系统的效率。
核心思路：论文的核心思路是并行化多智能体系统的执行过程。通过同时运行多个智能体团队，每个团队探索不同的解决方案路径，从而加速找到最优解的过程。这种并行化利用了不同计划的多样性，并允许系统在更短的时间内完成任务。
技术框架：M1-Parallel框架采用事件驱动的通信模型，智能体之间通过异步消息传递进行交互。该框架包含以下主要模块：1) 多个并行的多智能体团队，每个团队负责生成和执行一个解决方案计划；2) 一个事件总线，用于在智能体之间传递消息和状态更新；3) 一个监控模块，用于监控各个团队的执行进度和性能，并根据策略（如提前终止或聚合）进行干预。
关键创新：M1-Parallel的关键创新在于将并行计算引入到多智能体系统的执行过程中。与传统的串行执行方式相比，M1-Parallel能够同时探索多个解决方案路径，从而显著降低任务完成时间。此外，该框架还引入了事件驱动的通信模型，允许智能体之间异步地进行交互，进一步提高了系统的效率。
关键设计：M1-Parallel的关键设计包括：1) 并行团队的数量：需要根据任务的复杂度和计算资源进行调整；2) 提前终止策略：当某个团队的解决方案达到预定的性能指标时，可以提前终止其他团队的执行，从而节省计算资源；3) 聚合策略：将多个团队的解决方案进行聚合，以获得更优的最终结果；4) 鼓励多样性的策略：论文尝试了不同的策略来鼓励各个团队生成多样化的解决方案，但实验结果表明，简单的重复采样已经足够有效。
🖼️ 关键图片
📊 实验亮点
实验结果表明，M1-Parallel框架在复杂任务上表现出色。采用提前终止策略时，M1-Parallel在保持准确性的前提下，实现了高达2.2倍的加速。此外，采用聚合策略时，M1-Parallel显著提高了任务完成率。这些结果验证了并行计划执行在优化多智能体系统方面的有效性。
🎯 应用场景
M1-Parallel框架可应用于各种需要复杂推理和决策的领域，例如：机器人任务规划、自动驾驶、供应链优化、金融交易等。通过并行探索不同的解决方案，该框架能够显著提高任务完成效率，并为实际应用带来更高的价值和更快的响应速度。未来，该技术有望在更多领域得到应用，并推动人工智能技术的发展。
📄 摘要（原文）
Large language model (LLM)-based multi-agent systems have demonstrated remarkable promise for tackling complex tasks by breaking them down into subtasks that are iteratively planned, executed, observed, and refined. Despite their effectiveness, these systems often incur high latency because real-world problems frequently demand multiple iterative cycles of reasoning steps. To address this challenge, we propose M1-Parallel, a framework that concurrently runs multiple multi-agent teams in parallel to uncover distinct solution paths. By leveraging an event-driven communication model with asynchronous messaging, M1-Parallel efficiently capitalizes on the inherent diversity of valid plans to either reduce end-to-end latency or boost task completion rates. Our experiments on complex tasks show that M1-Parallel with early termination achieves up to $2.2\times$ speedup while preserving accuracy, and that M1-Parallel with aggregation yields higher task completion rates. We further investigate strategies aimed at encouraging diverse execution plans but observe no additional performance gains over repeated sampling. Overall, these findings underscore the potential of parallel plan execution for optimizing multi-agent systems for real-world, high-complexity reasoning tasks.