Mining the Design Space of Multi-Agent Workflows

📄 arXiv: 2610.31709v1 📥 PDF

作者: Xavier Cadet, Junyan Cheng, Peter Chin, Kyle Richardson

分类: cs.SE, cs.AI

发布日期: 2026-10-22

备注: 21 pages, including appendices. Equal contribution: Xavier Cadet and Junyan Cheng. Website: https://junyan.ch/apex-paper/

💡 一句话要点

提出一种新方法以挖掘多智能体工作流设计原则

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 工作流设计 自动化优化 特征挖掘 语言模型

📋 核心要点

  1. 现有的多智能体系统设计方法依赖于试错和有限的手动研究，缺乏系统性和可重复性。
  2. 本文提出了一种两阶段的挖掘管道，通过自动化优化和特征挖掘来识别有效的工作流设计原则。
  3. 实验结果显示，特定的工作流设计在性能上有显著提升，例如共享文档的效果优于辩论结构，提升幅度达到0.135。

📝 摘要（中文）

设计大型语言模型（LLM）多智能体系统（MAS）仍依赖于试错和非正式的“民间智慧”。现有手动研究仅测试少数通信结构或拓扑，而自动优化器在选择特定任务工作流后会丢弃搜索轨迹。本文提出一种两阶段管道，从工作流代码和执行轨迹中挖掘可重复的设计原则。我们重新利用AFlow的MCTS优化器，针对六个可组合操作符和26个确定性验证的Enigmata任务，保留所有中间轮次以构建28,568个可执行工作流的语料库。通过300次特征挖掘实验，我们识别出在三种工作流设计层面上持续存在的效果，表明该管道的可行性。

🔬 方法详解

问题定义：本文旨在解决多智能体工作流设计中的系统性不足，现有方法往往依赖于试错和有限的手动实验，缺乏对设计原则的深入挖掘与验证。

核心思路：我们提出了一种两阶段的挖掘管道，首先通过MCTS优化器生成大量可执行工作流，然后利用自动化特征挖掘来识别和验证有效的设计原则。

技术框架：整体流程分为两个主要阶段：第一阶段是使用AFlow的MCTS优化器生成28,568个工作流，第二阶段是通过AutoResearch循环挖掘编排代码和提示模板，进行验证和测试。

关键创新：本研究的创新在于将丢弃的搜索轨迹转化为统计测试平台，从而系统性地发现和验证多智能体工作流设计原则，突破了传统方法的局限。

关键设计：在特征挖掘过程中，我们采用了$L_0$惩罚的验证目标，确保所识别的设计原则在持出搜索中具有持续的效果。

📊 实验亮点

实验结果表明，工作流设计的不同结构对性能有显著影响。例如，使用共享文档的工作流相比辩论结构提升了0.135，而特定的提示和上下文路由方法的提升幅度达到0.118，显示出设计原则的重要性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的多智能体系统设计、自动化协作任务以及复杂系统的优化。通过挖掘有效的工作流设计原则，能够提高多智能体系统的效率和可靠性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Designing large language model (LLM) multi-agent systems (MAS) still relies on trial and error and informal "folk wisdom." Manual studies test only a few communication structures or topologies (e.g., sequential, parallel, shared-memory, or debate), while automated optimizers discard search trajectories after selecting a task-specific workflow. We present a two-phase pipeline for mining reproducible design principles from workflow code and execution traces. We repurpose AFlow's MCTS optimizer across six composable operators and 26 deterministically verified Enigmata tasks, retaining all intermediate rounds to build a corpus of 28,568 executable workflows. A sandboxed AutoResearch loop then mines orchestration code and prompt templates under an $L_0$-penalized validation objective and tests candidate principles on held-out searches. Across 300 feature-mining trials, we identify effects that persist on held-out searches across three levels of workflow design: workflows beginning with independent solvers and one-shot aggregation (Star-first) perform worse ($Δ= -0.045$); persistent shared documents (SharedMemory) outperform debate ($Δ= +0.135$); and prompt specificity and placeholder-based context routing yield gains comparable to communication-structure selection ($Δ= +0.118$). More broadly, our pipeline and results show the feasibility of turning discarded search trajectories into a statistical testbed for discovering and validating multi-agent workflow design principles.