Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System
作者: Weize Chen, Jiarui Yuan, Chen Qian, Cheng Yang, Zhiyuan Liu, Maosong Sun
分类: cs.CL, cs.AI
发布日期: 2024-10-10 (更新: 2025-02-18)
备注: Under review
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Optima：优化LLM多智能体系统的效率与效能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 大型语言模型 通信效率 强化学习 直接偏好优化 蒙特卡洛树搜索 任务效能 LLM训练
📋 核心要点
- 现有基于LLM的多智能体系统面临通信效率低、可扩展性差和缺乏有效参数更新优化方法等挑战。
- Optima框架通过LLM训练，采用迭代的生成、排序、选择和训练范式，并结合奖励函数平衡任务性能、token效率和通信可读性。
- 实验结果表明，Optima在信息非对称问答和复杂推理等任务上，性能提升高达2.8倍，而token使用量不到10%。
📝 摘要（中文）
基于大型语言模型（LLM）的多智能体系统（MAS）在协同问题解决方面展现出巨大潜力，但仍面临关键挑战：通信效率低、可扩展性差以及缺乏有效的参数更新优化方法。我们提出了Optima，一种新颖的框架，通过LLM训练显著提高LLM-MAS的通信效率和任务效能，从而解决这些问题。Optima采用迭代的生成、排序、选择和训练范式，并使用奖励函数来平衡任务性能、token效率和通信可读性。我们探索了各种强化学习算法，包括监督微调、直接偏好优化及其混合方法，深入了解它们的有效性-效率权衡。我们集成了受蒙特卡洛树搜索启发的DPO数据生成技术，将对话轮次视为树节点，以探索多样化的交互路径。在包括信息非对称问答和复杂推理在内的常见多智能体任务上的评估表明，Optima相对于基于Llama 3 8B的单智能体基线和原始MAS，表现出持续且显著的改进，在需要大量信息交换的任务上实现了高达2.8倍的性能提升，而token使用量不到10%。此外，Optima的效率提升为更有效地利用推理计算开辟了新的可能性，从而改善了推理时间扩展规律。通过解决LLM-MAS中的基本挑战，Optima展示了实现可扩展、高效和有效的MAS的潜力。
🔬 方法详解
问题定义：论文旨在解决基于LLM的多智能体系统在协同解决问题时存在的通信效率低、可扩展性差以及缺乏有效参数更新优化方法的问题。现有方法通常效率低下，难以处理复杂的、需要大量信息交换的任务。
核心思路：Optima的核心思路是通过LLM训练来优化多智能体系统的通信效率和任务效能。通过迭代的生成、排序、选择和训练过程，使智能体学会更有效地进行沟通和协作，从而提高整体性能。奖励函数的设计旨在平衡任务性能、token效率和通信可读性，鼓励智能体在完成任务的同时，尽可能减少token的使用并保持清晰的沟通。
技术框架：Optima框架包含以下主要模块：1) 生成（Generate）：智能体生成可能的对话或行动方案。2) 排序（Rank）：对生成的方案进行排序，评估其质量和效率。3) 选择（Select）：选择最佳的方案用于后续的训练。4) 训练（Train）：使用选择的方案来训练LLM，优化其通信和协作能力。此外，框架还集成了蒙特卡洛树搜索（MCTS）启发的DPO数据生成技术，以探索更多样化的交互路径。
关键创新：Optima的关键创新在于其迭代的训练范式和奖励函数的设计。传统的多智能体系统通常依赖于人工设计的规则或简单的强化学习方法，难以有效地优化通信效率和任务效能。Optima通过LLM训练，使智能体能够自主学习更有效的沟通和协作策略。奖励函数的设计平衡了任务性能、token效率和通信可读性，鼓励智能体在完成任务的同时，尽可能减少token的使用并保持清晰的沟通。MCTS的引入则有助于探索更多样化的交互路径，从而提高训练的效率和效果。
关键设计：奖励函数是Optima的关键设计之一，它综合考虑了任务性能、token效率和通信可读性。具体而言，任务性能可以通过任务完成的准确率或得分来衡量；token效率可以通过使用的token数量来衡量；通信可读性可以通过人工评估或自动评估指标来衡量。此外，框架还探索了不同的强化学习算法，包括监督微调、直接偏好优化及其混合方法，并分析了它们在有效性-效率之间的权衡。MCTS的实现细节，例如探索策略和评估函数，也会影响最终的性能。
🖼️ 关键图片
📊 实验亮点
Optima在信息非对称问答和复杂推理等任务上进行了评估，结果表明，相对于基于Llama 3 8B的单智能体基线和原始MAS，Optima表现出持续且显著的改进，在需要大量信息交换的任务上实现了高达2.8倍的性能提升，而token使用量不到10%。这表明Optima能够有效地提高多智能体系统的效率和效能。
🎯 应用场景
Optima框架具有广泛的应用前景，例如在智能客服、自动化谈判、协同软件开发、分布式机器人控制等领域。通过优化多智能体系统的通信效率和任务效能，Optima可以提高这些应用的效率和质量，降低成本，并实现更复杂的任务。未来，Optima还可以应用于更广泛的领域，例如智能交通、金融交易等。
📄 摘要（原文）
Large Language Model (LLM) based multi-agent systems (MAS) show remarkable potential in collaborative problem-solving, yet they still face critical challenges: low communication efficiency, poor scalability, and a lack of effective parameter-updating optimization methods. We present Optima, a novel framework that addresses these issues by significantly enhancing both communication efficiency and task effectiveness in LLM-based MAS through LLM training. Optima employs an iterative generate, rank, select, and train paradigm with a reward function balancing task performance, token efficiency, and communication readability. We explore various RL algorithms, including Supervised Fine-Tuning, Direct Preference Optimization, and their hybrid approaches, providing insights into their effectiveness-efficiency trade-offs. We integrate Monte Carlo Tree Search-inspired techniques for DPO data generation, treating conversation turns as tree nodes to explore diverse interaction paths. Evaluated on common multi-agent tasks, including information-asymmetric question answering and complex reasoning, Optima shows consistent and substantial improvements over single-agent baselines and vanilla MAS based on Llama 3 8B, achieving up to 2.8x performance gain with less than 10\% tokens on tasks requiring heavy information exchange. Moreover, Optima's efficiency gains open new possibilities for leveraging inference-compute more effectively, leading to improved inference-time scaling laws. By addressing fundamental challenges in LLM-based MAS, Optima shows the potential towards scalable, efficient, and effective MAS (https://chenweize1998.github.io/optima-project-page).