An Electoral Approach to Diversify LLM-based Multi-Agent Collective Decision-Making

📄 arXiv: 2410.15168v1 📥 PDF

作者: Xiutian Zhao, Ke Wang, Wei Peng

分类: cs.CL

发布日期: 2024-10-19

备注: Accepted to EMNLP 2024

💡 一句话要点

提出GEDI，通过引入选举机制提升LLM多智能体集体决策的多样性和鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多智能体系统 集体决策 社会选择理论 选举机制

📋 核心要点

  1. 现有基于LLM的多智能体集体决策系统过度依赖少数几种投票策略，缺乏多样性，限制了整体性能。
  2. 论文提出GEDI，一个选举式的集体决策模块，通过集成多种序数偏好投票机制来丰富LLM的决策方式。
  3. 实验表明，GEDI能显著提升LLM的推理能力和鲁棒性，即使在少量智能体的情况下也能产生协同效应。

📝 摘要（中文）

现代大型语言模型(LLM)在解决复杂任务时表现出协同效应，而集体决策(CDM)是基于LLM的多智能体协作框架中的关键组成部分。我们对52个最新系统的调查发现，当前系统严重缺乏多样性，过度依赖独裁和多数投票进行CDM。通过社会选择理论的视角，我们仔细研究了广泛采用的CDM方法，并指出了它们的局限性。为了丰富当前基于LLM的CDM格局，我们提出了GEDI，一个包含各种序数偏好投票机制的选举CDM模块。我们的实证案例研究表明，集成某些CDM方法可以显著提高一些领先LLM的推理能力和鲁棒性，而无需复杂的系统设计。此外，我们发现即使只有三个智能体，某些CDM机制也能产生积极的协同作用。基于投票的方法还表现出对单点故障的鲁棒性，以及在hit-rate@k和subject-wise影响方面的多样性。

🔬 方法详解

问题定义：现有基于LLM的多智能体集体决策（CDM）系统，在选择最终决策时，过度依赖独裁和多数投票等简单策略。这些策略缺乏多样性，容易受到单一智能体的影响，并且可能无法充分利用所有智能体的知识和偏好。因此，如何设计更具多样性和鲁棒性的CDM方法，是当前面临的挑战。

核心思路：论文的核心思路是将社会选择理论中的选举机制引入到LLM的CDM过程中。通过采用不同的序数偏好投票方法，例如Borda计数、Condorcet方法等，可以更全面地考虑每个智能体的偏好，从而产生更合理、更鲁棒的集体决策。这种方法旨在克服传统CDM方法的局限性，提高整体性能。

技术框架：GEDI模块可以集成到现有的LLM多智能体协作框架中。其主要流程如下：1) 每个智能体独立生成候选答案或方案；2) 每个智能体对所有候选答案进行排序，形成偏好列表；3) GEDI模块根据选择的选举机制，对所有智能体的偏好列表进行聚合，选出最终的集体决策。GEDI作为一个独立的模块，可以灵活地替换现有的CDM方法，而无需修改整个系统的架构。

关键创新：论文的关键创新在于将社会选择理论中的选举机制应用于LLM的CDM。与传统的独裁或多数投票方法相比，GEDI能够更好地利用所有智能体的知识和偏好，从而提高决策的多样性和鲁棒性。此外，论文还通过实验证明，即使在少量智能体的情况下，GEDI也能产生积极的协同效应。

关键设计：GEDI的关键设计在于选择合适的选举机制。论文研究了多种序数偏好投票方法，例如Borda计数、Condorcet方法、Instant Runoff Voting等。不同的选举机制具有不同的特性，例如对策略性投票的抵抗能力、对候选答案排序的敏感性等。论文通过实验评估了不同选举机制在LLM的CDM中的表现，并提出了选择合适机制的建议。此外，论文还考虑了如何处理智能体之间的偏好冲突，以及如何提高计算效率等问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GEDI能够显著提高LLM的推理能力和鲁棒性。例如，在某些基准测试中，GEDI可以将准确率提高5%-10%。此外，GEDI还表现出对单点故障的鲁棒性，即使某个智能体出现故障，系统仍然能够做出合理的决策。实验还发现，即使只有三个智能体，GEDI也能产生积极的协同效应，表明其具有良好的可扩展性。

🎯 应用场景

该研究成果可应用于各种需要多智能体协作决策的场景，例如：自动驾驶汽车的路径规划、医疗诊断的专家会诊、金融投资的风险评估等。通过引入更合理、更鲁棒的集体决策机制，可以提高系统的整体性能和可靠性，减少人为错误和偏见，从而带来更高的实际价值和更广泛的社会影响。

📄 摘要（原文）

Modern large language models (LLMs) have exhibited cooperative synergy on complex task-solving, and collective decision-making (CDM) is a pivotal component in LLM-based multi-agent collaboration frameworks. Our survey on 52 recent such systems uncovers a severe lack of diversity, with a heavy reliance on dictatorial and plurality voting for CDM. Through the lens of social choice theory, we scrutinize widely-adopted CDM methods and identify their limitations. To enrich current landscape of LLM-based CDM, we present GEDI, an electoral CDM module that incorporates various ordinal preferential voting mechanisms. Our empirical case study across three benchmarks shows that the integration of certain CDM methods can markedly improve the reasoning capabilities and robustness of some leading LLMs, all without requiring intricate system designs. Additionally, we find that some CDM mechanisms generate positive synergies even with as few as three agents. The voting-based methods also demonstrate robustness against single points of failure, as well as diversity in terms of hit-rate@k and subject-wise impacts.