BattleAgentBench: A Benchmark for Evaluating Cooperation and Competition Capabilities of Language Models in Multi-Agent Systems

📄 arXiv: 2408.15971v1 📥 PDF

作者: Wei Wang, Dan Zhang, Tao Feng, Boyan Wang, Jie Tang

分类: cs.CL

发布日期: 2024-08-28

💡 一句话要点

提出BattleAgentBench，用于评估语言模型在多智能体系统中的合作与竞争能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 语言模型 协作能力 竞争能力 基准测试 智能体导航 任务执行

📋 核心要点

  1. 现有基准测试缺乏对语言模型在多智能体系统中协作能力的细粒度评估，并且忽略了协作与竞争并存的复杂场景。
  2. BattleAgentBench基准通过定义不同难度级别的子阶段，细致评估语言模型在导航、任务执行、协作和竞争等方面的能力。
  3. 实验结果表明，API模型在简单任务上表现优异，但开源模型表现欠佳；在复杂任务中，API模型虽有协作能力，但仍有提升空间。

📝 摘要（中文）

大型语言模型（LLMs）在处理复杂任务（例如构建单智能体和多智能体系统）方面变得越来越强大。与单智能体相比，多智能体系统对语言模型的协作能力提出了更高的要求。虽然已经提出了许多评估其协作能力的基准，但这些基准缺乏对LLM协作能力的细粒度评估。此外，现有工作忽略了多智能体协作和竞争场景。为了解决这两个问题，我们提出了一个名为BattleAgentBench的基准，该基准定义了三个难度级别的七个子阶段，并对语言模型在单智能体场景导航能力、配对智能体任务执行能力以及多智能体协作和竞争能力方面进行了细粒度评估。我们对领先的四个闭源模型和七个开源模型进行了广泛的评估。实验结果表明，基于API的模型在简单任务上表现出色，但开源小型模型在简单任务上表现不佳。对于需要协作和竞争能力的困难任务，虽然基于API的模型已经展示出一定的协作能力，但仍有巨大的改进空间。

🔬 方法详解

问题定义：现有评估语言模型在多智能体系统中协作能力的基准测试存在两个主要痛点：一是缺乏细粒度的评估，无法深入了解模型在不同协作场景下的表现；二是忽略了多智能体系统中常见的协作与竞争并存的复杂场景。这使得我们难以全面评估语言模型在真实多智能体环境中的应用潜力。

核心思路：BattleAgentBench的核心思路是通过构建一个包含多种难度级别和不同协作/竞争模式的测试环境，来全面评估语言模型在多智能体系统中的能力。该基准侧重于考察模型在单智能体导航、配对智能体任务执行以及多智能体协作与竞争等方面的表现。通过细粒度的评估指标，可以更准确地了解模型的优势和不足。

技术框架：BattleAgentBench基准包含三个难度级别，每个难度级别包含多个子阶段，共七个子阶段。这些子阶段涵盖了单智能体场景导航、配对智能体任务执行以及多智能体协作和竞争等不同类型的任务。评估流程包括：1) 定义任务目标和环境；2) 使用语言模型控制智能体执行任务；3) 收集智能体的行为数据；4) 根据预定义的评估指标评估模型的性能。

关键创新：BattleAgentBench的关键创新在于其对多智能体协作和竞争场景的细粒度评估。与现有基准相比，BattleAgentBench不仅考察了模型的协作能力，还考察了模型在竞争环境下的策略制定和执行能力。此外，该基准还提供了不同难度级别的任务，可以更全面地评估模型的泛化能力。

关键设计：BattleAgentBench的关键设计包括：1) 定义了清晰的任务目标和评估指标，确保评估结果的客观性和可比性；2) 设计了多样化的任务场景，涵盖了不同的协作和竞争模式；3) 提供了不同难度级别的任务，可以评估模型的泛化能力；4) 采用了模块化的设计，方便扩展和定制。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，API-based模型在简单任务上表现出色，但开源小型模型在简单任务上表现不佳。在需要协作和竞争能力的困难任务中，API-based模型虽然展示出一定的协作能力，但仍有很大的提升空间。这表明现有语言模型在多智能体协作和竞争方面仍存在不足，需要进一步的研究和改进。

🎯 应用场景

BattleAgentBench可用于评估和比较不同语言模型在多智能体系统中的性能，指导模型的设计和优化。该基准在机器人、游戏、自动驾驶等领域具有广泛的应用前景，有助于开发更智能、更可靠的多智能体系统，提升人机协作效率，并促进人工智能技术的进步。

📄 摘要（原文）

Large Language Models (LLMs) are becoming increasingly powerful and capable of handling complex tasks, e.g., building single agents and multi-agent systems. Compared to single agents, multi-agent systems have higher requirements for the collaboration capabilities of language models. Many benchmarks are proposed to evaluate their collaborative abilities. However, these benchmarks lack fine-grained evaluations of LLM collaborative capabilities. Additionally, multi-agent collaborative and competitive scenarios are ignored in existing works. To address these two problems, we propose a benchmark, called BattleAgentBench, which defines seven sub-stages of three varying difficulty levels and conducts a fine-grained evaluation of language models in terms of single-agent scenario navigation capabilities, paired-agent task execution abilities, and multi-agent collaboration and competition capabilities. We conducted extensive evaluations on leading four closed-source and seven open-source models. Experimental results indicate that API-based models perform excellently on simple tasks but open-source small models struggle with simple tasks. Regarding difficult tasks that require collaborative and competitive abilities, although API-based models have demonstrated some collaborative capabilities, there is still enormous room for improvement.