LLM-Coordination: Evaluating and Analyzing Multi-agent Coordination Abilities in Large Language Models

📄 arXiv: 2310.03903v3 📥 PDF

作者: Saaket Agashe, Yue Fan, Anthony Reyna, Xin Eric Wang

分类: cs.CL, cs.MA

发布日期: 2023-10-05 (更新: 2025-04-28)

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM-Coordination基准以评估大语言模型的多智能体协调能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多智能体协调 心智理论 环境理解 联合规划 协调问答 基准评估

📋 核心要点

  1. 现有方法在多智能体协调中面临挑战，尤其是在考虑伙伴的信念和意图时表现不佳。
  2. 论文提出LLM-Coordination基准，通过代理协调和协调问答任务评估LLMs的协调能力。
  3. 实验结果表明，LLM代理在环境变量依赖的决策中表现良好，但在心智理论推理和联合规划能力上仍有显著提升空间。

📝 摘要（中文）

大语言模型（LLMs）展现了新兴的常识推理和心智理论能力，使其成为开发协调代理的有希望的候选者。本研究引入了LLM-Coordination基准，这是一个用于分析LLMs在纯协调环境中的新基准，评估其在两个不同任务中的表现。第一个任务是代理协调，LLMs作为主动参与者参与四个纯协调游戏。第二个任务是协调问答（CoordQA），测试LLMs在这些游戏中的198个多项选择问题，以评估环境理解、心智理论推理和联合规划三项关键能力。实验结果显示，LLM代理在主要依赖环境变量的多智能体协调设置中表现出色，但在需要积极考虑伙伴信念和意图的场景中面临挑战。

🔬 方法详解

问题定义：本论文旨在解决大语言模型在多智能体协调中的能力评估问题，现有方法在处理伙伴信念和意图时存在不足。

核心思路：通过引入LLM-Coordination基准，论文设计了两个任务来全面评估LLMs的协调能力，重点关注环境理解、心智理论推理和联合规划。

技术框架：整体架构包括两个主要模块：代理协调任务和协调问答任务。代理协调任务中，LLMs作为参与者在多个纯协调游戏中进行互动；而协调问答任务则通过198个多项选择问题评估其理解和推理能力。

关键创新：最重要的技术创新在于引入了专门针对纯协调设置的基准，填补了现有评估方法的空白，特别是在多智能体环境中。

关键设计：在实验中，设置了不同的环境变量和决策场景，以测试LLMs在面对未知伙伴时的鲁棒性，采用了特定的损失函数来优化其决策过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM代理在依赖环境变量的多智能体协调设置中表现优异，但在心智理论推理和联合规划能力上仍有显著提升空间。零样本协调实验表明，LLM代理在面对未知伙伴时表现出较强的鲁棒性，优于传统的强化学习方法。

🎯 应用场景

该研究的潜在应用领域包括智能代理、游戏设计和人机交互等。通过提升大语言模型在多智能体协调中的能力，能够推动更复杂的协作系统的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated emergent common-sense reasoning and Theory of Mind (ToM) capabilities, making them promising candidates for developing coordination agents. This study introduces the LLM-Coordination Benchmark, a novel benchmark for analyzing LLMs in the context of Pure Coordination Settings, where agents must cooperate to maximize gains. Our benchmark evaluates LLMs through two distinct tasks. The first is Agentic Coordination, where LLMs act as proactive participants in four pure coordination games. The second is Coordination Question Answering (CoordQA), which tests LLMs on 198 multiple-choice questions across these games to evaluate three key abilities: Environment Comprehension, ToM Reasoning, and Joint Planning. Results from Agentic Coordination experiments reveal that LLM-Agents excel in multi-agent coordination settings where decision-making primarily relies on environmental variables but face challenges in scenarios requiring active consideration of partners' beliefs and intentions. The CoordQA experiments further highlight significant room for improvement in LLMs' Theory of Mind reasoning and joint planning capabilities. Zero-Shot Coordination (ZSC) experiments in the Agentic Coordination setting demonstrate that LLM agents, unlike RL methods, exhibit robustness to unseen partners. These findings indicate the potential of LLMs as Agents in pure coordination setups and underscore areas for improvement. Code Available at https://github.com/eric-ai-lab/llm_coordination.