Active Learning for Communication Structure Optimization in LLM-Based Multi-Agent Systems
作者: Huchen Yang, Xinghao Dong, Dan Negrut, Jin-Long Wu
分类: cs.MA, cs.AI, cs.LG
发布日期: 2026-05-07 (更新: 2026-05-08)
💡 一句话要点
提出基于集成卡尔曼反演的主动学习框架，优化大模型多智能体系统的通信结构
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 多智能体系统 主动学习 通信结构优化 集成卡尔曼反演 贝叶斯优化
📋 核心要点
- 现有方法依赖随机任务采样，忽略了任务间难度与领域差异，导致在有限计算预算下通信结构优化过程不稳定且对训练集高度敏感。
- 提出基于集成卡尔曼反演的主动学习框架，通过量化任务对图参数分布的改变程度，主动筛选最具信息量的任务进行通信结构优化。
- 实验表明，该方法在常规及对抗性环境下均能显著提升通信结构优化效率，在受限计算资源下表现出优于基线方法的性能与鲁棒性。
📝 摘要（中文）
优化基于大语言模型的多智能体系统（LLM-MAS）的通信结构，不仅能提升下游任务性能，还能有效降低Token消耗。现有方法多依赖随机采样训练任务，但由于任务间在难度与领域上的显著差异，其信息量并不均衡，导致在有限预算下优化过程不稳定且高度依赖训练集选择。为主动识别最具价值的优化任务，本文提出了一种基于集成信息论的任务选择框架。该方法利用集成卡尔曼反演（Ensemble Kalman Inversion）作为贝叶斯更新的无导数近似，通过评估候选任务对图参数分布的影响来量化任务信息量，特别适用于黑盒且存在噪声的多智能体系统。此外，通过嵌入式代表性选择构建紧凑候选池，并结合代理模型与批量汤普森采样，进一步提升了系统的可扩展性。实验证明，该方法在常规环境及存在智能体攻击的场景下，均能在受限计算预算内实现高效的通信结构优化。
🔬 方法详解
问题定义：论文旨在解决LLM-MAS中通信结构优化效率低下的问题。现有方法通常采用随机任务采样，无法针对性地利用有限的计算预算，导致优化过程在不同任务分布下表现不稳定，且难以应对黑盒、含噪的多智能体交互环境。
核心思路：引入主动学习范式，通过信息论方法量化任务的“信息增益”。核心思想是选择那些能最大程度改变通信结构参数后验分布的任务，从而以最少的训练样本实现最优的通信拓扑配置。
技术框架：整体流程包括：1) 利用嵌入技术从任务池中筛选代表性候选任务；2) 使用集成卡尔曼反演（EKI）作为无导数优化器，估计任务对通信图参数的影响；3) 结合代理模型（Surrogate Modeling）与批量汤普森采样（Batch Thompson Sampling）进行高效的任务选择与参数更新。
关键创新：首次将集成卡尔曼反演应用于LLM-MAS的通信结构优化，提供了一种无需梯度、适用于黑盒系统的贝叶斯更新近似方案，有效解决了传统优化方法在复杂多智能体系统中的不稳定性。
关键设计：采用集成卡尔曼反演（EKI）处理参数更新，通过集成成员的协方差矩阵刻画参数分布的不确定性；利用嵌入空间中的聚类或代表性采样降低候选池规模，确保在大规模任务集下的计算可扩展性。
🖼️ 关键图片
📊 实验亮点
实验在常规及智能体攻击场景下验证了该方法的有效性。结果显示，在受限计算预算下，该主动学习框架相比随机采样基线，能更快收敛至更优的通信结构，显著提升了下游任务的准确率，并表现出极强的抗干扰能力与参数优化稳定性。
🎯 应用场景
该研究适用于需要复杂协作的LLM多智能体系统，如自动化软件开发、多智能体决策支持系统及分布式机器人协同。其核心价值在于通过优化通信拓扑，在降低Token成本的同时提升协作效率，特别适用于资源受限或存在恶意干扰的复杂动态环境。
📄 摘要（原文）
Optimizing the communication structure of large language model based multi-agent systems (LLM-MAS) has been shown to improve downstream performance and reduce token usage. Existing methods typically rely on randomly sampled training tasks. However, tasks may differ substantially in difficulty and domain, and thus they are not equally informative for updating communication structure, making optimization under limited training budgets often unstable and highly sensitive to the particular training set. To actively identify the most valuable tasks for communication-structure optimization, we propose an ensemble-based information-theoretic task selection framework. The proposed method estimates task informativeness by how much a candidate task changes the distribution over graph parameters, using ensemble Kalman inversion as an efficient and derivative-free approximation of the corresponding Bayesian update. The resulting estimator is especially suitable for black-box and noisy multi-agent systems. To enhance scalability, we construct a compact candidate pool through embedding-based representative selection and combine the informative selection with surrogate modeling and batch Thompson sampling. We validate our method in both benign settings and settings with agent attacks, demonstrating its effectiveness for communication-structure optimization under constrained computational budgets.