Guided Collaboration in Heterogeneous LLM-Based Multi-Agent Systems via Entropy-Based Understanding Assessment and Experience Retrieval

📄 arXiv: 2602.13639v1 📥 PDF

作者: Linlin Wang, Tianqing Zhu, Laiqiao Qin, Longxiang Gao, Wanlei Zhou

分类: cs.AI, cs.MA

发布日期: 2026-02-14

💡 一句话要点

提出基于熵的多智能体协作框架，解决异构LLM系统中认知失配问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 异构协作 大型语言模型 认知失配 熵 自适应引导 检索增强生成

📋 核心要点

  1. 异构多智能体系统存在能力差异，导致强弱模型协作时出现认知失配，限制了整体性能。
  2. 提出基于熵的自适应引导框架，动态调整对每个智能体的引导，缓解认知失配问题。
  3. 实验证明，该方法在多个数据集上提升了异构协作的有效性和稳定性，具有良好的可扩展性。

📝 摘要（中文）

本文研究了基于大型语言模型(LLM)的异构多智能体系统(HMAS)中的协作问题。发现强弱模型组合的性能可能低于弱弱组合，揭示了认知失配是限制异构协作的关键瓶颈。为了解决这一问题，提出了一个基于熵的自适应引导框架，该框架通过多维熵度量（包括表达、不确定性、结构、连贯性和相关性）量化弱智能体的理解程度，并自适应地调整引导强度。此外，还引入了检索增强生成(RAG)机制，以保留成功的协作经验，实现即时适应和长期学习。在GSM8K、MBPP和CVRP三个基准数据集上的实验表明，该方法能够持续提高异构协作的有效性和稳定性。

🔬 方法详解

问题定义：论文旨在解决异构多智能体系统中，由于智能体能力差异导致的协作效率低下问题。现有方法未能有效解决强弱智能体之间的认知失配，导致强智能体的能力无法充分发挥，甚至不如弱弱组合。这种认知失配体现在弱智能体难以理解强智能体的意图和输出，从而影响整体协作效果。

核心思路：论文的核心思路是通过动态调整对弱智能体的引导强度，使其更好地理解强智能体的意图，从而弥合认知差距。具体来说，通过量化弱智能体的理解程度，并根据理解程度自适应地提供不同程度的指导，以提高其协作能力。同时，利用检索增强生成(RAG)机制，学习和复用成功的协作经验，实现长期学习和优化。

技术框架：整体框架包含以下几个主要模块：1) 理解评估模块：使用多维熵度量（表达熵、不确定性熵、结构熵、连贯性熵和相关性熵）量化弱智能体的理解程度。2) 自适应引导模块：根据理解评估结果，动态调整引导强度，分为轻度、中度和重度引导。3) 经验检索模块：利用RAG机制，检索相似的协作经验，为当前协作提供参考。4) 协作执行模块：智能体根据引导和检索到的经验，进行协作，完成任务。

关键创新：论文的关键创新在于提出了基于熵的理解评估方法和自适应引导策略。传统的引导方法通常采用固定的引导强度，无法适应不同智能体的认知状态。而本文提出的方法能够根据智能体的理解程度动态调整引导强度，从而更有效地提高协作效率。此外，RAG机制的引入也使得系统能够从历史经验中学习，进一步提升协作能力。

关键设计：在理解评估模块中，多维熵度量的计算方式是关键。例如，表达熵衡量智能体表达的多样性，不确定性熵衡量智能体对答案的不确定程度。自适应引导模块中，引导强度的调整策略需要根据具体任务和智能体能力进行设计。RAG模块中，如何选择合适的检索策略和经验表示方式也是关键。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在GSM8K、MBPP和CVRP三个基准数据集上均取得了显著的性能提升。例如，在GSM8K数据集上，该方法相比于基线方法提升了约10%的准确率。此外，实验还验证了该方法在不同智能体组合下的稳定性和可扩展性，表明其具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要多智能体协作的场景，例如智能客服、自动化代码生成、机器人协作等。通过自适应地引导弱智能体，可以提高协作效率和整体性能，降低对智能体能力的要求，从而降低开发和部署成本。此外，该方法还可以应用于教育领域，为学生提供个性化的学习指导。

📄 摘要（原文）

With recent breakthroughs in large language models (LLMs) for reasoning, planning, and complex task generation, artificial intelligence systems are transitioning from isolated single-agent architectures to multi-agent systems with collaborative intelligence. However, in heterogeneous multi-agent systems (HMAS), capability differences among agents give rise to consistent cognitive problems, where strong and weak models fail to contribute effectively. We define the collaboration as a strong-weak system. Through comprehensive experiments, we disclose a counterintuitive phenomenon in the strong-weak system: a strong-weak collaboration may under-perform weak-weak combinations, revealing that cognitive mismatching are key bottlenecks limiting heterogeneous cooperation. To overcome these challenges, we propose an Entropy-Based Adaptive Guidance Framework that dynamically aligns the guidance with the cognitive state of each agent. The framework quantifies the understanding of weak agents through multi-dimensional entropy metrics - covering expression, uncertainty, structure, coherence, and relevance - and adaptively adjusts the intensity of the guidance at light, moderate and intensive levels. Furthermore, a Retrieval-Augmented Generation (RAG) mechanism is incorporated to retain successful collaboration experiences, enabling both immediate adaptation and long-term learning. Extensive experiments on three benchmark datasets, GSM8K, MBPP, and CVRP demonstrate that our approach consistently enhances the effectiveness and stability of heterogeneous collaboration. The results highlight that adaptive guidance not only mitigates cognitive imbalance but also establishes a scalable pathway toward more robust, cooperative multi-agent intelligence.