AgentDropout: Dynamic Agent Elimination for Token-Efficient and High-Performance LLM-Based Multi-Agent Collaboration

📄 arXiv: 2503.18891v1 📥 PDF

作者: Zhexuan Wang, Yutong Wang, Xuebo Liu, Liang Ding, Miao Zhang, Jie Liu, Min Zhang

分类: cs.CL, cs.AI

发布日期: 2025-03-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出AgentDropout以解决多智能体系统中的低通信效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 大语言模型 通信效率 任务性能 动态调整 邻接矩阵优化 领域迁移能力

📋 核心要点

  1. 现有基于大语言模型的多智能体系统面临低通信效率和任务性能不佳的挑战，急需优化通信拓扑设计。
  2. 本文提出AgentDropout，通过优化通信图的邻接矩阵，动态识别并消除冗余智能体，以提升令牌效率和任务性能。
  3. 实验结果显示，AgentDropout在提示令牌和完成令牌消耗上分别减少21.6%和18.4%，任务性能提升1.14，展现出良好的领域迁移能力。

📝 摘要（中文）

基于大语言模型的多智能体系统在协作问题解决中展现了显著潜力，但仍面临低通信效率和任务性能不佳的挑战。为此，本文提出AgentDropout，通过优化通信图的邻接矩阵，动态识别并消除冗余智能体和通信，从而提升令牌效率和任务性能。与现有方法相比，AgentDropout在提示令牌消耗上平均减少21.6%，在完成令牌消耗上减少18.4%，任务性能提升1.14。扩展实验表明，AgentDropout具有显著的领域迁移能力和结构鲁棒性，显示出其可靠性和有效性。

🔬 方法详解

问题定义：本文旨在解决基于大语言模型的多智能体系统中存在的低通信效率和任务性能不佳的问题。现有方法在处理冗余智能体和通信时缺乏动态调整机制，导致资源浪费和性能下降。

核心思路：AgentDropout的核心思想是通过优化通信图的邻接矩阵，动态识别并消除冗余的智能体和通信，从而提高系统的令牌效率和任务性能。这一设计灵感来源于管理理论中高效团队角色的动态调整。

技术框架：AgentDropout的整体架构包括多个模块：首先，通过分析通信图的邻接矩阵识别冗余智能体；其次，动态调整智能体的参与状态；最后，优化通信过程以提升令牌使用效率。

关键创新：AgentDropout的主要创新在于其动态调整机制，能够在不同通信轮次中识别并消除冗余智能体，这与现有静态方法形成了鲜明对比，显著提升了通信效率和任务性能。

关键设计：在设计中，AgentDropout采用了特定的损失函数来衡量通信效率，并通过调整邻接矩阵的结构来优化智能体的参与度。此外，网络结构经过精心设计，以支持动态调整和高效通信。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AgentDropout在提示令牌消耗上平均减少21.6%，在完成令牌消耗上减少18.4%，任务性能提升1.14。这些结果相较于现有最先进的方法显示了显著的性能提升，验证了其有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动化协作系统和复杂任务解决方案等。通过提升多智能体系统的通信效率和任务性能，AgentDropout能够在实际应用中显著提高协作效率，降低资源消耗，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multi-agent systems (MAS) based on large language models (LLMs) have demonstrated significant potential in collaborative problem-solving. However, they still face substantial challenges of low communication efficiency and suboptimal task performance, making the careful design of the agents' communication topologies particularly important. Inspired by the management theory that roles in an efficient team are often dynamically adjusted, we propose AgentDropout, which identifies redundant agents and communication across different communication rounds by optimizing the adjacency matrices of the communication graphs and eliminates them to enhance both token efficiency and task performance. Compared to state-of-the-art methods, AgentDropout achieves an average reduction of 21.6% in prompt token consumption and 18.4% in completion token consumption, along with a performance improvement of 1.14 on the tasks. Furthermore, the extended experiments demonstrate that AgentDropout achieves notable domain transferability and structure robustness, revealing its reliability and effectiveness. We release our code at https://github.com/wangzx1219/AgentDropout.