A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration

📄 arXiv: 2310.02170v2 📥 PDF

作者: Zijun Liu, Yanzhe Zhang, Peng Li, Yang Liu, Diyi Yang

分类: cs.CL, cs.AI, cs.MA

发布日期: 2023-10-03 (更新: 2024-11-15)

备注: Published in COLM2024. Code Repo: https://github.com/SALT-NLP/DyLAN

💡 一句话要点

提出动态LLM驱动的代理网络以解决任务导向的协作问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多代理协作 动态选择 任务导向 大型语言模型 智能系统

📋 核心要点

  1. 现有方法在代理数量和通信结构上存在固定性，限制了任务解决的灵活性和效率。
  2. 本文提出DyLAN框架，通过动态选择代理和优化通信结构，提升任务导向的协作能力。
  3. 实验结果显示，DyLAN在多项任务上超越了强基线，且在特定任务中准确率提升达25.0%。

📝 摘要（中文）

近期研究表明，多个大型语言模型（LLM）驱动的代理协作是解决任务的有效方法。然而，现有方法受限于固定数量的代理和静态通信结构。本文提出了一种名为动态LLM驱动代理网络（DyLAN）的框架，能够自动选择代理团队，并在动态通信结构中进行协作。该框架采用两阶段模式：团队优化和任务解决。在团队优化阶段，利用无监督的代理重要性评分算法选择最佳代理；在任务解决阶段，所选代理根据查询动态协作。实验证明，DyLAN在代码生成、决策、一般推理和算术推理任务中优于强基线，且在MMLU特定主题上，团队优化阶段的选择提高了准确率达25.0%。

🔬 方法详解

问题定义：本文旨在解决现有多代理协作方法中固定代理数量和静态通信结构的局限性，导致任务解决效率低下的问题。

核心思路：通过动态选择代理团队和优化通信结构，DyLAN能够根据不同任务和领域灵活调整代理的协作方式，从而提高任务解决的效果。

技术框架：DyLAN框架分为两个主要阶段：团队优化和任务解决。在团队优化阶段，使用代理重要性评分算法选择最佳代理；在任务解决阶段，所选代理根据具体查询进行动态协作。

关键创新：DyLAN的核心创新在于引入了无监督的代理重要性评分算法，使得代理选择过程更加灵活和高效，显著提升了任务解决的准确性。

关键设计：在代理选择过程中，采用了基于初步试验的贡献评分来评估代理的重要性，确保选择的代理能够在特定任务中发挥最佳作用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DyLAN在代码生成、决策、一般推理和算术推理任务中表现优异，超越了多个强基线。在MMLU特定主题上，团队优化阶段的代理选择使准确率提高了25.0%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动化编程、决策支持系统等。通过动态代理协作，能够在复杂任务中实现更高效的解决方案，未来可能对多领域的智能系统产生深远影响。

📄 摘要（原文）

Recent studies show that collaborating multiple large language model (LLM) powered agents is a promising way for task solving. However, current approaches are constrained by using a fixed number of agents and static communication structures. In this work, we propose automatically selecting a team of agents from candidates to collaborate in a dynamic communication structure toward different tasks and domains. Specifically, we build a framework named Dynamic LLM-Powered Agent Network ($\textbf{DyLAN}$) for LLM-powered agent collaboration, operating a two-stage paradigm: (1) Team Optimization and (2) Task Solving. During the first stage, we utilize an $\textit{agent selection}$ algorithm, based on an unsupervised metric called $\textit{Agent Importance Score}$, enabling the selection of best agents according to their contributions in a preliminary trial, oriented to the given task. Then, in the second stage, the selected agents collaborate dynamically according to the query. Empirically, we demonstrate that DyLAN outperforms strong baselines in code generation, decision-making, general reasoning, and arithmetic reasoning tasks with moderate computational cost. On specific subjects in MMLU, selecting a team of agents in the team optimization stage improves accuracy by up to 25.0% in DyLAN.