MAO: A Framework for Process Model Generation with Multi-Agent Orchestration

📄 arXiv: 2408.01916v2 📥 PDF

作者: Leilei Lin, Yumeng Jin, Yingming Zhou, Wenlong Chen, Chen Qian

分类: cs.AI, cs.SE

发布日期: 2024-08-04 (更新: 2024-08-07)

💡 一句话要点

提出MAO框架，利用多智能体协同自动生成流程模型，显著提升建模效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流程模型生成 多智能体系统 大型语言模型 自动化建模 幻觉修复

📋 核心要点

  1. 传统流程建模依赖大量专家参与，成本高昂且耗时，亟需高效自动建模方法。
  2. MAO框架利用大型语言模型驱动的多智能体协同，通过生成、细化、审查和测试四个阶段自动生成流程模型。
  3. 实验表明，MAO框架在多个数据集上显著优于现有方法，并大幅超越人工建模的性能。

📝 摘要（中文）

本文提出了一种基于多智能体协同（MAO）的流程模型自动生成框架，旨在提高流程建模的效率，并为领域专家提供有价值的见解。MAO框架以大型语言模型为基础，采用创新的提示策略，确保多智能体之间的高效协作。该框架包含四个阶段：1) 生成：从文本描述中生成一个初步的流程模型；2) 细化：智能体通过多轮对话不断细化初始流程模型；3) 审查：智能体审查并修复流程模型中由于多轮对话产生语义幻觉；4) 测试：智能体利用外部工具测试生成的流程模型是否存在格式错误（即格式幻觉），并调整流程模型以符合输出规范。实验结果表明，该框架生成的流程模型优于现有方法，并且在四个不同的数据集上，性能分别超越人工建模89%、61%、52%和75%。

🔬 方法详解

问题定义：论文旨在解决流程模型自动生成的问题。现有方法依赖人工，效率低且成本高。大型语言模型在多轮对话中容易产生语义和格式上的幻觉，影响流程模型的准确性和可用性。

核心思路：论文的核心思路是利用多智能体协同，每个智能体负责流程模型生成过程中的不同任务，例如生成、细化、审查和测试。通过智能体之间的协作和反馈，逐步优化流程模型，减少幻觉，提高模型的质量和准确性。

技术框架：MAO框架包含四个主要阶段：1) 生成：利用大型语言模型从文本描述中生成初步的流程模型；2) 细化：多个智能体通过多轮对话，根据预设规则和目标，逐步细化和完善流程模型；3) 审查：智能体负责审查流程模型，检测并修复语义幻觉，确保模型逻辑的正确性；4) 测试：智能体利用外部工具对流程模型进行格式验证，检测并修复格式幻觉，确保模型符合输出规范。

关键创新：MAO框架的关键创新在于：1) 提出了一种基于多智能体协同的流程模型自动生成方法，能够有效提高建模效率和模型质量；2) 针对大型语言模型在多轮对话中容易产生的幻觉问题，设计了审查和测试阶段，能够有效减少语义和格式幻觉；3) 采用创新的提示策略，确保多智能体之间的高效协作。

关键设计：论文中没有详细说明具体的参数设置、损失函数、网络结构等技术细节。提示策略的具体内容未知，智能体之间的通信机制和协作方式也未详细描述。外部测试工具的具体类型和实现方式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAO框架在四个不同的数据集上，生成的流程模型性能分别超越人工建模89%、61%、52%和75%。这表明MAO框架能够显著提高流程建模的效率和质量，并优于现有方法。

🎯 应用场景

该研究成果可应用于软件工程、业务流程管理、自动化测试等领域。通过自动生成流程模型，可以降低建模成本，提高建模效率，并为领域专家提供辅助决策支持。未来，该技术有望应用于更复杂的业务场景，例如智能制造、金融服务等。

📄 摘要（原文）

Process models are frequently used in software engineering to describe business requirements, guide software testing and control system improvement. However, traditional process modeling methods often require the participation of numerous experts, which is expensive and time-consuming. Therefore, the exploration of a more efficient and cost-effective automated modeling method has emerged as a focal point in current research. This article explores a framework for automatically generating process models with multi-agent orchestration (MAO), aiming to enhance the efficiency of process modeling and offer valuable insights for domain experts. Our framework MAO leverages large language models as the cornerstone for multi-agent, employing an innovative prompt strategy to ensure efficient collaboration among multi-agent. Specifically, 1) generation. The first phase of MAO is to generate a slightly rough process model from the text description; 2) refinement. The agents would continuously refine the initial process model through multiple rounds of dialogue; 3) reviewing. Large language models are prone to hallucination phenomena among multi-turn dialogues, so the agents need to review and repair semantic hallucinations in process models; 4) testing. The representation of process models is diverse. Consequently, the agents utilize external tools to test whether the generated process model contains format errors, namely format hallucinations, and then adjust the process model to conform to the output paradigm. The experiments demonstrate that the process models generated by our framework outperform existing methods and surpass manual modeling by 89%, 61%, 52%, and 75% on four different datasets, respectively.