MARCO: Multi-Agent Real-time Chat Orchestration

📄 arXiv: 2410.21784v1 📥 PDF

作者: Anubhav Shrimal, Stanley Kanagaraj, Kriti Biswas, Swarnalatha Raghuraman, Anish Nediyanchath, Yi Zhang, Promod Yenigalla

分类: cs.AI, cs.CL, cs.LG, cs.MA

发布日期: 2024-10-29

备注: EMNLP 2024 Industry Track

💡 一句话要点

提出MARCO：一个用于自动化任务的多智能体实时聊天编排框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 大型语言模型 任务自动化 实时聊天编排 防护机制

📋 核心要点

  1. 现有方法在利用LLM进行复杂任务自动化时，面临输出格式不一致、函数幻觉和缺乏领域知识等挑战。
  2. MARCO通过引入强大的防护机制，引导LLM行为，验证输出，并从错误中恢复，从而实现更可靠的任务执行。
  3. 实验结果表明，MARCO在任务执行准确率、延迟和成本方面均优于现有方法，并具有跨领域应用的潜力。

📝 摘要（中文）

本文提出MARCO，一个用于利用大型语言模型（LLM）自动化任务的多智能体实时聊天编排框架。MARCO旨在解决LLM在复杂、多步骤任务执行中面临的关键挑战。它集成了强大的防护机制，以引导LLM行为、验证输出，并从不一致的输出格式、函数和参数幻觉以及缺乏领域知识等错误中恢复。通过大量实验，结果表明MARCO在数字餐厅服务平台对话和零售对话数据集上的任务执行准确率分别达到94.48%和92.74%，同时延迟降低44.91%，成本降低33.71%。此外，还报告了防护机制在性能提升中的作用，并比较了各种开源和专有LLM模型。MARCO的模块化和通用设计使其能够适应跨领域的自动化任务，并通过多轮交互执行复杂的用例。

🔬 方法详解

问题定义：论文旨在解决如何利用大型语言模型（LLM）自动化复杂、多步骤任务的问题。现有方法在处理此类任务时，常常面临LLM输出格式不一致、产生函数和参数幻觉、以及缺乏特定领域知识等痛点，导致任务执行的可靠性和效率降低。

核心思路：MARCO的核心思路是通过构建一个多智能体框架，并引入强大的防护机制，来引导LLM的行为，验证其输出，并从错误中恢复。这种方法旨在提高LLM在复杂任务执行中的稳定性和准确性，使其能够更好地适应实际应用场景。

技术框架：MARCO框架包含多个智能体，这些智能体协同工作以完成任务。框架的核心组件包括：1) 任务分解模块，将复杂任务分解为更小的子任务；2) LLM调用模块，负责调用LLM生成输出；3) 输出验证模块，使用防护机制验证LLM的输出是否符合预期；4) 错误处理模块，负责处理LLM产生的错误，例如输出格式错误或函数幻觉；5) 状态管理模块，负责维护任务的执行状态。

关键创新：MARCO的关键创新在于其集成的防护机制，这些机制能够有效地引导LLM的行为，并从错误中恢复。这些防护机制包括：1) 输出格式验证，确保LLM的输出符合预定义的格式；2) 函数和参数验证，防止LLM产生幻觉；3) 领域知识注入，为LLM提供必要的领域知识。

关键设计：MARCO框架采用模块化设计，允许用户根据自己的需求定制框架。框架中的每个模块都可以独立地进行配置和扩展。此外，框架还支持多种LLM模型，包括开源和专有模型。具体的参数设置和损失函数等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MARCO在数字餐厅服务平台对话和零售对话数据集上的任务执行准确率分别达到94.48%和92.74%。与现有方法相比，MARCO的延迟降低了44.91%，成本降低了33.71%。这些结果表明，MARCO在提高任务执行效率和降低成本方面具有显著优势。

🎯 应用场景

MARCO框架具有广泛的应用前景，可以应用于各种需要自动化任务的领域，例如客户服务、电子商务、金融服务等。通过MARCO，企业可以更高效地利用LLM来完成各种任务，从而降低成本，提高效率，并改善客户体验。未来，MARCO有望成为企业实现智能化转型的重要工具。

📄 摘要（原文）

Large language model advancements have enabled the development of multi-agent frameworks to tackle complex, real-world problems such as to automate tasks that require interactions with diverse tools, reasoning, and human collaboration. We present MARCO, a Multi-Agent Real-time Chat Orchestration framework for automating tasks using LLMs. MARCO addresses key challenges in utilizing LLMs for complex, multi-step task execution. It incorporates robust guardrails to steer LLM behavior, validate outputs, and recover from errors that stem from inconsistent output formatting, function and parameter hallucination, and lack of domain knowledge. Through extensive experiments we demonstrate MARCO's superior performance with 94.48% and 92.74% accuracy on task execution for Digital Restaurant Service Platform conversations and Retail conversations datasets respectively along with 44.91% improved latency and 33.71% cost reduction. We also report effects of guardrails in performance gain along with comparisons of various LLM models, both open-source and proprietary. The modular and generic design of MARCO allows it to be adapted for automating tasks across domains and to execute complex usecases through multi-turn interactions.