ACC-Collab: An Actor-Critic Approach to Multi-Agent LLM Collaboration

📄 arXiv: 2411.00053v3 📥 PDF

作者: Andrew Estornell, Jean-Francois Ton, Yuanshun Yao, Yang Liu

分类: cs.CL, cs.AI

发布日期: 2024-10-30 (更新: 2025-03-06)

💡 一句话要点

提出ACC-Collab，一种基于Actor-Critic的多Agent LLM协作学习框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多Agent协作 强化学习 Actor-Critic 大型语言模型 LLM 协作学习

📋 核心要点

  1. 现有方法依赖预训练LLM的固有协作能力，缺乏对多Agent协作行为的专门学习和优化。
  2. ACC-Collab采用Actor-Critic框架，通过学习的方式，使Agent能够更好地进行协作，提升整体性能。
  3. 实验表明，ACC-Collab在多个基准测试中超越了当前最先进的多Agent协作技术，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）已展现出作为通用工具在各种基于语言的任务中的卓越能力。最近的研究表明，通过多个模型之间的迭代对话可以提高此类模型的效力。虽然这些范例在提高模型效力方面显示出希望，但该领域的大多数工作都将协作视为一种涌现行为，而不是一种学习行为。因此，当前的多Agent框架依赖于已充分训练到现成模型中的协作行为。为了解决这个局限性，我们提出了ACC-Collab，一个基于Actor-Critic的学习框架，用于生成一个专门从事协作的双Agent团队（一个Actor-Agent和一个Critic-Agent）。我们证明了ACC-Collab在各种基准测试中优于SotA多Agent技术。

🔬 方法详解

问题定义：现有基于LLM的多Agent协作方法通常依赖于预训练LLM自身所具备的协作能力，而没有专门针对多Agent协作进行学习和优化。这种方式的痛点在于，无法保证LLM在特定任务上的协作是最优的，并且难以适应不同的协作场景。

核心思路：ACC-Collab的核心思路是通过Actor-Critic强化学习框架，让两个Agent（Actor-Agent和Critic-Agent）在协作过程中学习如何更好地进行交互和协作。Actor-Agent负责生成动作，Critic-Agent负责评估Actor-Agent的动作，并提供反馈，从而引导Actor-Agent学习更有效的协作策略。这样设计的目的是为了使Agent能够专门针对协作进行优化，从而提高整体性能。

技术框架：ACC-Collab的技术框架主要包含两个Agent：Actor-Agent和Critic-Agent。Actor-Agent负责根据当前状态生成动作，Critic-Agent负责评估Actor-Agent的动作，并给出奖励信号。整个学习过程通过强化学习算法进行优化，目标是最大化累积奖励。具体流程如下：1. Actor-Agent接收当前状态；2. Actor-Agent生成动作；3. 两个Agent执行动作并产生新的状态；4. Critic-Agent评估Actor-Agent的动作，并给出奖励；5. Actor-Agent和Critic-Agent根据奖励更新策略。

关键创新：ACC-Collab最重要的技术创新点在于将Actor-Critic强化学习框架应用于多Agent LLM协作。与现有方法相比，ACC-Collab不是依赖于预训练LLM的固有协作能力，而是通过学习的方式，使Agent能够专门针对协作进行优化。这种方法可以更好地适应不同的协作场景，并提高整体性能。

关键设计：ACC-Collab的关键设计包括：1. 状态表示：如何将当前状态有效地表示为Agent可以理解的形式；2. 动作空间：如何定义Agent可以采取的动作；3. 奖励函数：如何设计奖励函数，以引导Agent学习有效的协作策略；4. 网络结构：Actor-Agent和Critic-Agent的网络结构，例如可以使用Transformer网络来处理文本输入。具体的参数设置和网络结构需要根据具体的任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ACC-Collab在多个基准测试中取得了显著的性能提升。与当前最先进的多Agent协作技术相比，ACC-Collab在各种任务上都表现出更优的性能。具体的性能数据和提升幅度在论文中进行了详细的展示和分析，证明了ACC-Collab的有效性。

🎯 应用场景

ACC-Collab具有广泛的应用前景，例如可以应用于智能客服、自动写作、代码生成等领域。通过学习的方式，使多个LLM能够更好地协作完成复杂的任务，提高工作效率和质量。未来，可以将ACC-Collab扩展到更多Agent的协作场景，并探索更复杂的协作策略。

📄 摘要（原文）

Large language models (LLMs) have demonstrated a remarkable ability to serve as general-purpose tools for various language-based tasks. Recent works have demonstrated that the efficacy of such models can be improved through iterative dialog between multiple models. While these paradigms show promise in improving model efficacy, most works in this area treat collaboration as an emergent behavior, rather than a learned behavior. In doing so, current multi-agent frameworks rely on collaborative behaviors to have been sufficiently trained into off-the-shelf models. To address this limitation, we propose ACC-Collab, an Actor-Critic based learning framework to produce a two-agent team (an actor-agent and a critic-agent) specialized in collaboration. We demonstrate that ACC-Collab outperforms SotA multi-agent techniques on a wide array of benchmarks.