Enhancing Multi-Agent Systems via Reinforcement Learning with LLM-based Planner and Graph-based Policy

📄 arXiv: 2503.10049v1 📥 PDF

作者: Ziqi Jia, Junjie Li, Xiaoyang Qu, Jianzong Wang

分类: cs.CV

发布日期: 2025-03-13

备注: Accepted by the 2025 IEEE International Conference on Robotics & Automation (ICRA 2025)

💡 一句话要点

提出LGC-MARL框架，结合LLM规划器和图策略，提升多智能体系统在复杂任务中的协作能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 强化学习 大型语言模型 图神经网络 协作策略 任务规划 元学习

📋 核心要点

  1. 多智能体强化学习在复杂任务中面临奖励函数设计困难和泛化性不足的挑战，难以有效协作。
  2. LGC-MARL框架结合LLM进行任务分解和规划，利用图结构进行智能体间的协作，提升系统性能。
  3. 在AI2-THOR平台上的实验表明，LGC-MARL在完成复杂任务时表现出优越的性能和良好的可扩展性。

📝 摘要（中文）

多智能体系统(MAS)在执行复杂任务方面显示出巨大潜力，但协作和安全性仍然是重大挑战。多智能体强化学习(MARL)为智能体协作提供了一个有前景的框架，但在处理复杂任务和设计奖励函数方面面临困难。大型语言模型(LLM)的引入为MAS带来了更强的推理和认知能力，但现有的基于LLM的系统难以在动态环境中快速准确地响应。为了应对这些挑战，我们提出了基于LLM的图协作MARL(LGC-MARL)，该框架有效地结合了LLM和MARL。该框架将复杂任务分解为可执行的子任务，并通过基于图的协作实现多个智能体之间的有效协作。具体来说，LGC-MARL由两个主要组件组成：LLM规划器和基于图的协作元策略。LLM规划器将复杂的任务指令转换为一系列可执行的子任务，使用评论模型评估这些子任务的合理性，并生成动作依赖图。基于图的协作元策略促进了智能体之间基于动作依赖图的通信和协作，并通过元学习适应新的任务环境。在AI2-THOR模拟平台上的实验结果表明，LGC-MARL在完成各种复杂任务方面具有卓越的性能和可扩展性。

🔬 方法详解

问题定义：论文旨在解决多智能体系统在复杂任务中协作效率低下的问题。现有方法，特别是基于MARL的方法，在处理复杂任务时，奖励函数设计困难，难以引导智能体学习有效的协作策略。同时，基于LLM的方法虽然具备较强的推理能力，但在动态环境中响应速度和准确性不足。

核心思路：论文的核心思路是将LLM的规划能力与MARL的协作学习能力相结合。利用LLM将复杂任务分解为可执行的子任务，并构建动作依赖图，指导智能体间的协作。通过图结构，智能体可以更好地理解彼此的行为，从而实现更高效的协作。

技术框架：LGC-MARL框架包含两个主要模块：LLM规划器和基于图的协作元策略。首先，LLM规划器接收复杂任务指令，将其分解为一系列可执行的子任务，并使用评论模型评估子任务的合理性，生成动作依赖图。然后，基于图的协作元策略利用动作依赖图促进智能体之间的通信和协作，并通过元学习适应新的任务环境。整个流程旨在将高层次的任务指令转化为低层次的智能体动作，并优化智能体间的协作策略。

关键创新：该论文的关键创新在于将LLM的规划能力与图结构的协作机制相结合。传统的MARL方法通常依赖于手工设计的奖励函数，难以处理复杂任务。而LGC-MARL利用LLM自动生成子任务和动作依赖图，降低了人工设计的难度，并提升了智能体的协作效率。此外，基于图的协作元策略能够更好地利用智能体之间的关系，实现更有效的协作。

关键设计：LLM规划器使用预训练的LLM进行任务分解，并通过一个评论模型评估子任务的合理性。动作依赖图用于表示智能体之间的依赖关系，每个节点代表一个智能体，边表示智能体之间的动作依赖关系。基于图的协作元策略采用图神经网络(GNN)来学习智能体的协作策略，并使用元学习方法适应新的任务环境。具体的参数设置和网络结构在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LGC-MARL在AI2-THOR模拟平台上表现出优越的性能和可扩展性。相较于其他基线方法，LGC-MARL能够更有效地完成各种复杂任务，并且随着智能体数量的增加，性能提升更加显著。具体的性能数据和提升幅度在论文中进行了详细展示（未知）。

🎯 应用场景

LGC-MARL框架具有广泛的应用前景，例如在机器人协作、自动驾驶、智能交通管理、以及资源调度等领域。通过将复杂任务分解为可执行的子任务，并利用图结构促进智能体间的协作，该框架可以显著提高系统的效率和可靠性，从而在实际应用中创造更大的价值。

📄 摘要（原文）

Multi-agent systems (MAS) have shown great potential in executing complex tasks, but coordination and safety remain significant challenges. Multi-Agent Reinforcement Learning (MARL) offers a promising framework for agent collaboration, but it faces difficulties in handling complex tasks and designing reward functions. The introduction of Large Language Models (LLMs) has brought stronger reasoning and cognitive abilities to MAS, but existing LLM-based systems struggle to respond quickly and accurately in dynamic environments. To address these challenges, we propose LLM-based Graph Collaboration MARL (LGC-MARL), a framework that efficiently combines LLMs and MARL. This framework decomposes complex tasks into executable subtasks and achieves efficient collaboration among multiple agents through graph-based coordination. Specifically, LGC-MARL consists of two main components: an LLM planner and a graph-based collaboration meta policy. The LLM planner transforms complex task instructions into a series of executable subtasks, evaluates the rationality of these subtasks using a critic model, and generates an action dependency graph. The graph-based collaboration meta policy facilitates communication and collaboration among agents based on the action dependency graph, and adapts to new task environments through meta-learning. Experimental results on the AI2-THOR simulation platform demonstrate the superior performance and scalability of LGC-MARL in completing various complex tasks.