Towards Collaborative Intelligence: Propagating Intentions and Reasoning for Multi-Agent Coordination with Large Language Models
作者: Xihe Qiu, Haoyu Wang, Xiaoyu Tan, Chao Qu, Yujie Xiong, Yuan Cheng, Yinghui Xu, Wei Chu, Yuan Qi
分类: cs.CL, cs.AI
发布日期: 2024-07-17
💡 一句话要点
提出基于LLM的协作智能框架，通过意图传播提升多智能体协同能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 强化学习 大型语言模型 意图传播 协同行为
📋 核心要点
- 现有多智能体框架依赖于单智能体执行，缺乏鲁棒的模块间通信，导致次优的MARL策略和不足的任务协同。
- 该论文提出一种基于LLM的协作智能体框架，通过意图传播网络在智能体间共享目标和子任务，促进协同行为。
- 实验结果表明，意图传播减少了智能体间的错误协同，智能体能够学习何时以及向哪些队友传递任务细节，涌现协同行为。
📝 摘要（中文）
本文提出了一种训练大型语言模型（LLM）作为协作智能体的框架，旨在实现合作多智能体强化学习（MARL）中的协同行为。每个智能体维护一个私有意图，包含当前目标和相关子任务。智能体周期性地广播其意图，使其他智能体能够推断协同任务。一个传播网络将广播的意图转换为特定于队友的通信消息，与指定的队友共享相关目标。该框架的架构分为规划、基础和执行模块。在执行过程中，多个智能体在下游环境中交互并传递意图以实现协同行为。基础模块根据新兴的协同模式动态调整理解策略，而来自执行智能体的反馈会影响规划模块，从而实现子任务的动态重新规划。在协作环境模拟中的结果表明，意图传播通过对齐智能体之间的子任务依赖性来减少错误协同。智能体学习何时传递意图以及哪些队友需要任务细节，从而产生新兴的协同行为。这证明了基于LLM的合作多智能体RL中意图共享的有效性。
🔬 方法详解
问题定义：现有的多智能体系统在协同方面存在不足，主要体现在智能体之间缺乏有效的沟通机制，难以共享目标和意图，导致任务协同效率低下。传统的MARL方法往往依赖于复杂的策略设计和大量的训练数据，难以泛化到复杂的协作场景。此外，现有框架通常依赖于单智能体的执行能力，缺乏对多智能体之间依赖关系的建模。
核心思路：该论文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，构建一个协作智能体框架，通过意图传播机制实现智能体之间的有效沟通和协同。每个智能体维护自己的意图，并通过传播网络将意图传递给其他智能体，从而使智能体能够理解彼此的目标和子任务，并进行协同。
技术框架：该框架包含三个主要模块：规划模块、基础模块和执行模块。规划模块负责生成智能体的意图，包括当前目标和相关子任务。基础模块负责理解其他智能体传递的意图，并根据新兴的协同模式动态调整理解策略。执行模块负责在下游环境中执行任务，并向规划模块提供反馈，以便动态重新规划子任务。智能体通过意图传播网络广播自己的意图，该网络将广播的意图转换为特定于队友的通信消息。
关键创新：该论文的关键创新在于引入了意图传播机制，使智能体能够有效地共享目标和子任务，从而实现协同行为。与传统的MARL方法相比，该方法不需要复杂的策略设计，而是通过LLM的语言理解能力来实现智能体之间的沟通和协同。此外，该方法还引入了基础模块，可以根据新兴的协同模式动态调整理解策略，提高了框架的鲁棒性。
关键设计：意图传播网络的设计是关键。该网络将智能体的意图编码为向量表示，并使用注意力机制来选择需要传递给哪些队友。损失函数的设计旨在鼓励智能体传递有用的意图，并避免传递冗余信息。基础模块使用动态调整策略，根据智能体之间的协同模式来调整对意图的理解方式。具体参数设置和网络结构在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架通过意图传播减少了智能体之间的错误协同，提高了任务完成的效率。智能体能够学习何时传递意图以及哪些队友需要任务细节，从而涌现出协同行为。具体的性能数据和提升幅度在摘要中没有明确给出，属于未知信息。但整体而言，意图传播机制在协作环境模拟中表现出了良好的效果。
🎯 应用场景
该研究成果可应用于各种需要多智能体协同的场景，例如：自动驾驶车辆编队、机器人协同搬运、智能仓储物流等。通过意图传播，智能体可以更好地理解彼此的目标和任务，从而实现更高效、更可靠的协同。此外，该研究还可以促进人机协作的发展，使人类能够更容易地与智能体进行沟通和协作。
📄 摘要（原文）
Effective collaboration in multi-agent systems requires communicating goals and intentions between agents. Current agent frameworks often suffer from dependencies on single-agent execution and lack robust inter-module communication, frequently leading to suboptimal multi-agent reinforcement learning (MARL) policies and inadequate task coordination. To address these challenges, we present a framework for training large language models (LLMs) as collaborative agents to enable coordinated behaviors in cooperative MARL. Each agent maintains a private intention consisting of its current goal and associated sub-tasks. Agents broadcast their intentions periodically, allowing other agents to infer coordination tasks. A propagation network transforms broadcast intentions into teammate-specific communication messages, sharing relevant goals with designated teammates. The architecture of our framework is structured into planning, grounding, and execution modules. During execution, multiple agents interact in a downstream environment and communicate intentions to enable coordinated behaviors. The grounding module dynamically adapts comprehension strategies based on emerging coordination patterns, while feedback from execution agents influnces the planning module, enabling the dynamic re-planning of sub-tasks. Results in collaborative environment simulation demonstrate intention propagation reduces miscoordination errors by aligning sub-task dependencies between agents. Agents learn when to communicate intentions and which teammates require task details, resulting in emergent coordinated behaviors. This demonstrates the efficacy of intention sharing for cooperative multi-agent RL based on LLMs.