CONCAT: Consensus- and Confidence-Driven Ad Hoc Teaming for Efficient LLM-Based Multi-Agent Systems

📄 arXiv: 2605.29612v1 📥 PDF

作者: Ziyang Ma, Dingyi Zhang, Sichu Liang, Jiajia Chu, Pengfei Xia, Hui Zang, Deyu Zhou

分类: cs.MA, cs.CL

发布日期: 2026-05-28

💡 一句话要点

提出CONCAT，一种基于共识和置信度的LLM多智能体高效协作框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 LLM Ad hoc Teaming 共识 置信度 心智理论 高效协作

📋 核心要点

  1. 基于LLM的多智能体系统计算开销巨大，源于智能体间频繁通信，现有方法需额外训练，泛化性受限。
  2. CONCAT通过共识聚类和置信度选择领导者，利用心智理论预测协作收益，构建高效的Ad hoc网络。
  3. 实验表明，CONCAT在效率上优于LLM-Debate和AgentDropout，并在延迟上显著降低，无需任务特定训练。

📝 摘要（中文）

本文提出CONCAT，一个无需训练的多智能体协作框架，它基于共识和置信度驱动的Ad hoc Teaming，旨在高效组织智能体间的交互。具体而言，智能体首先基于其初始答案进行聚类，然后根据智能体的置信度选择每个集群的领导者。接着，设计一个基于心智理论的启发式函数，根据领导者的答案和置信度预测每两个领导者之间的协作收益。最后，根据预测的收益剔除一部分通信，从而构建一个Ad hoc多智能体网络。在三个LLM和三个基准测试上的实验表明，CONCAT实现了比LLM-Debate高达2.02倍的效率提升（准确率/延迟比），并且优于AgentDropout等需要训练的方法，同时在Qwen2.5-14B-Instruct上平均延迟降低了50.1%，而无需任何特定于任务的训练。

🔬 方法详解

问题定义：现有基于LLM的多智能体系统在解决复杂任务时表现出色，但智能体之间的大量通信导致巨大的计算开销。以往的研究试图通过训练稀疏的多智能体图或微调规划器来优化工作流程，但这些方法需要额外的训练成本，并且将多智能体系统的应用限制在特定领域，牺牲了其通用性。因此，如何在不进行额外训练的情况下，高效地组织智能体之间的交互，降低计算开销，是本文要解决的核心问题。

核心思路：CONCAT的核心思路是基于智能体之间的共识和置信度，动态地构建一个Ad hoc多智能体网络。通过将具有相似答案的智能体聚类，并选择置信度高的智能体作为领导者，减少不必要的通信。利用心智理论预测领导者之间的协作收益，并根据收益剔除低效的通信链路，从而在保证性能的同时，显著降低计算延迟。这种方法无需训练，具有良好的通用性。

技术框架：CONCAT框架主要包含三个阶段：1) 智能体聚类：根据智能体的初始答案，使用聚类算法（例如K-means）将智能体划分为不同的集群。2) 领导者选择：在每个集群中，选择置信度最高的智能体作为该集群的领导者。置信度可以基于LLM输出的概率或置信度评分。3) Ad hoc网络构建：利用基于心智理论的启发式函数，预测每两个领导者之间的协作收益。然后，根据预测的收益，剔除一部分通信链路，构建一个稀疏的Ad hoc多智能体网络。

关键创新：CONCAT的关键创新在于提出了一种无需训练的Ad hoc多智能体协作方法，它通过共识和置信度驱动的智能体聚类和领导者选择，以及基于心智理论的协作收益预测，实现了高效的智能体交互。与需要额外训练的方法相比，CONCAT具有更好的通用性和更低的计算成本。与传统的密集通信的多智能体系统相比，CONCAT能够显著降低延迟，提高效率。

关键设计：CONCAT的关键设计包括：1) 基于心智理论的启发式函数：该函数用于预测两个领导者之间的协作收益，它考虑了领导者的答案相似度和置信度。具体来说，如果两个领导者的答案相似且置信度高，则认为它们之间的协作收益较低，可以剔除它们之间的通信链路。2) 通信链路剔除比例：需要根据具体的任务和智能体数量，调整通信链路的剔除比例，以在性能和延迟之间取得平衡。3) 置信度评估方法：不同的LLM可能提供不同的置信度评分，需要根据LLM的特性选择合适的置信度评估方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CONCAT在三个LLM（包括Qwen2.5-14B-Instruct）和三个基准测试上，实现了比LLM-Debate高达2.02倍的效率提升（准确率/延迟比），并且优于AgentDropout等需要训练的方法。此外，CONCAT在Qwen2.5-14B-Instruct上平均延迟降低了50.1%，而无需任何特定于任务的训练，证明了其高效性和通用性。

🎯 应用场景

CONCAT适用于需要多智能体协作的各种场景，例如问答系统、决策支持系统、机器人协作等。它可以帮助构建更高效、更通用的多智能体系统，降低计算成本，提高响应速度。该研究对于推动多智能体系统的实际应用具有重要意义，尤其是在资源受限的环境下。

📄 摘要（原文）

Although large language model (LLM) based multi-agent systems (MAS) show their capability to solve complex tasks and achieve higher performance over single agent systems, they lead to huge computational overheads because of heavy communication between agents. Previous research has made efforts to train a sparse multi-agent graph or fine-tune a planner to orchestrate the workflow better. However, such extra training processes introduce computational costs and limit MAS to specific domains, therefore compromising their generalizability. In this paper, we propose CONCAT, a training-free multi-agent collaboration framework based on CONsensus and Confidence-driven Ad hoc Teaming to efficiently organize agent interactions. Specifically, agents are clustered based on their initial answers, and leaders of each cluster are selected based on the agents' confidence. Then, a heuristic function based on the Theory of Mind is designed to predict the collaboration benefits between every two leaders according to their answers and confidence. Finally, an ad hoc multi-agent network is organized after evicting a percentage of communications based on the predicted benefits. Experiments across three LLMs and three benchmarks show that CONCAT achieves up to 2.02x higher efficiency (accuracy/latency ratio) than LLM-Debate and outperforms training-aware methods such as AgentDropout, while reducing average latency by 50.1% on Qwen2.5-14B-Instruct, without any task-specific training.