Cooperation on the Fly: Exploring Language Agents for Ad Hoc Teamwork in the Avalon Game

📄 arXiv: 2312.17515v1 📥 PDF

作者: Zijing Shi, Meng Fang, Shunfeng Zheng, Shilong Deng, Ling Chen, Yali Du

分类: cs.CL

发布日期: 2023-12-29

备注: Code will release soon

💡 一句话要点

提出CodeAct：增强记忆与代码推理的LLM智能体，用于阿瓦隆游戏中的即时组队协作。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多智能体协作 即时组队 代码推理 记忆增强 阿瓦隆游戏 自然语言处理

📋 核心要点

  1. 现有基于LLM的多智能体协作在复杂场景中效率不足，尤其缺乏预设协议下的智能推断能力。
  2. 论文提出CodeAct智能体，通过增强记忆和代码推理，使LLM能够快速适应新队友并有效协作。
  3. 实验表明，CodeAct在阿瓦隆游戏中表现出潜力，验证了其在即时组队协作中的有效性。

📝 摘要（中文）

大型语言模型（LLM）在多智能体协作中展现了处理基本任务的能力，但其在更复杂场景中的效率仍有待探索。在游戏环境中，智能体经常面临缺乏既定协作协议的情况，需要它们从有限的数据中对队友进行智能推断。 这个问题激发了即时组队协作领域的研究，其中智能体可能与各种队友合作以实现共同目标。 本研究侧重于智能体在自然语言驱动的环境中进行即时组队协作的问题。 研究结果揭示了LLM智能体在团队协作中的潜力，同时也强调了通信中幻觉问题。 为了解决这个问题，我们开发了CodeAct，这是一种通用智能体，它为LLM配备了增强的记忆和代码驱动的推理能力，从而能够重新利用部分信息，快速适应新的队友。

🔬 方法详解

问题定义：论文旨在解决自然语言驱动的即时组队协作问题，具体场景设定为阿瓦隆游戏。现有方法，特别是直接使用LLM的智能体，在面对新队友时，由于缺乏长期记忆和有效的推理机制，容易产生幻觉，导致协作效率低下。痛点在于如何让LLM智能体能够快速学习和适应新队友，并进行可靠的决策。

核心思路：论文的核心思路是赋予LLM智能体更强的记忆能力和代码驱动的推理能力。通过记忆模块存储历史信息，并利用代码执行模块进行逻辑推理和决策，从而减少幻觉，提高协作效率。这种设计使得智能体能够更好地理解队友的行为，并根据环境变化做出相应的调整。

技术框架：CodeAct智能体的整体架构包含三个主要模块：1) 记忆模块：用于存储历史对话、观察结果和行动记录，形成长期记忆。2) 代码执行模块：允许智能体执行Python代码，进行逻辑推理、数据分析和决策制定。3) LLM接口：负责将自然语言输入转换为代码，并将代码执行结果转换为自然语言输出。整个流程是：接收环境信息 -> 从记忆模块检索相关信息 -> 使用LLM将信息转换为代码 -> 执行代码进行推理和决策 -> 将决策结果转换为自然语言行动。

关键创新：CodeAct的关键创新在于将LLM与代码执行模块相结合，实现了代码驱动的推理。这种方法不同于传统的基于规则或基于模型的智能体，它充分利用了LLM的自然语言理解能力和代码执行模块的逻辑推理能力，从而在复杂环境中实现更灵活和高效的协作。此外，增强的记忆模块也使得智能体能够更好地利用历史信息，减少幻觉。

关键设计：CodeAct的关键设计包括：1) 记忆模块的实现方式，例如使用向量数据库存储和检索信息。2) 代码执行模块的接口设计，如何安全地执行LLM生成的代码，并限制其权限。3) LLM的选择和微调策略，如何针对特定任务优化LLM的性能。4) 提示工程（Prompt Engineering），如何设计有效的提示，引导LLM生成正确的代码。

📊 实验亮点

论文提出的CodeAct智能体在阿瓦隆游戏中表现出良好的协作能力，能够有效地识别队友身份并制定相应的策略。虽然论文中没有给出具体的性能数据，但强调了CodeAct通过代码推理减少了幻觉，提高了决策的可靠性，从而在即时组队协作中展现出潜力。未来的工作可以进一步量化CodeAct的性能提升，并与其他基线方法进行比较。

🎯 应用场景

该研究成果可应用于各种需要人机协作或多智能体协作的场景，例如：智能客服、自动化流程管理、协同机器人、以及其他需要智能体快速适应新环境和队友的复杂任务。通过增强智能体的记忆和推理能力，可以提高协作效率，降低沟通成本，并最终实现更智能、更可靠的自动化系统。

📄 摘要（原文）

Multi-agent collaboration with Large Language Models (LLMs) demonstrates proficiency in basic tasks, yet its efficiency in more complex scenarios remains unexplored. In gaming environments, these agents often face situations without established coordination protocols, requiring them to make intelligent inferences about teammates from limited data. This problem motivates the area of ad hoc teamwork, in which an agent may potentially cooperate with a variety of teammates to achieve a shared goal. Our study focuses on the ad hoc teamwork problem where the agent operates in an environment driven by natural language. Our findings reveal the potential of LLM agents in team collaboration, highlighting issues related to hallucinations in communication. To address this issue, we develop CodeAct, a general agent that equips LLM with enhanced memory and code-driven reasoning, enabling the repurposing of partial information for rapid adaptation to new teammates.