RMoA: Optimizing Mixture-of-Agents through Diversity Maximization and Residual Compensation

📄 arXiv: 2505.24442v1 📥 PDF

作者: Zhentao Xie, Chengcheng Han, Jinxin Shi, Wenjun Cui, Xin Zhao, Xingjiao Wu, Jiabao Zhao

分类: cs.AI

发布日期: 2025-05-30

备注: Accepted by ACL 2025 (Findings)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RMoA以优化多智能体系统的效率与可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 残差学习 信息利用 计算效率 自然语言处理

📋 核心要点

  1. 现有的多智能体系统在处理复杂任务时面临高计算开销和信息损失的问题，影响了其鲁棒性和效率。
  2. 本文提出的RMoA通过集成残差连接和嵌入式多样性选择机制，旨在提高信息利用率并降低计算成本。
  3. RMoA在多个基准测试中表现出色，尤其在对齐和数学推理任务上，显著提升了性能并减少了计算资源的消耗。

📝 摘要（中文）

尽管基于大型语言模型的多智能体系统在多任务上表现出强大的能力，但仍受限于高计算开销、信息损失和鲁棒性不足。本文提出了残差混合智能体（RMoA），通过集成残差连接来优化效率和可靠性。为最大化模型响应的信息利用，同时最小化计算成本，设计了一种基于嵌入的多样性选择机制。此外，引入了残差提取智能体以保留跨层增量信息，并结合残差聚合智能体进行层次信息整合。最后，提出了一种自适应终止机制，根据残差收敛动态停止处理，进一步提高推理效率。RMoA在对齐、数学推理、代码生成和多任务理解等基准测试中实现了最先进的性能，同时显著降低了计算开销。

🔬 方法详解

问题定义：本文旨在解决现有多智能体系统在高计算开销和信息损失方面的不足，尤其是在复杂任务处理中的鲁棒性问题。

核心思路：RMoA的核心思路是通过集成残差连接来优化信息流动，同时引入多样性选择机制，以提高模型响应的信息利用率和计算效率。

技术框架：RMoA的整体架构包括残差提取智能体和残差聚合智能体，前者用于捕捉跨层响应差异，后者则负责整合层次信息。此外，设计了一种自适应终止机制，以动态调整处理过程。

关键创新：RMoA的主要创新在于引入残差学习机制和嵌入式多样性选择，显著提升了信息保留能力和计算效率，这与传统方法的线性处理方式形成鲜明对比。

关键设计：在设计中，采用了基于向量相似度的贪婪选择策略，结合残差提取和聚合的模块化设计，确保了信息的有效整合与利用。

📊 实验亮点

在多个基准测试中，RMoA在对齐、数学推理、代码生成和多任务理解方面均实现了最先进的性能，相较于传统方法，计算开销显著降低，具体提升幅度未知，展示了其在实际应用中的优越性。

🎯 应用场景

RMoA的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、智能对话系统和复杂任务的自动化处理。其优化的计算效率和信息利用率将推动多智能体系统在实际应用中的普及与发展，尤其是在需要快速响应和高准确度的场景中。

📄 摘要（原文）

Although multi-agent systems based on large language models show strong capabilities on multiple tasks, they are still limited by high computational overhead, information loss, and robustness. Inspired by ResNet's residual learning, we propose Residual Mixture-of-Agents (RMoA), integrating residual connections to optimize efficiency and reliability. To maximize information utilization from model responses while minimizing computational costs, we innovatively design an embedding-based diversity selection mechanism that greedily selects responses via vector similarity. Furthermore, to mitigate iterative information degradation, we introduce a Residual Extraction Agent to preserve cross-layer incremental information by capturing inter-layer response differences, coupled with a Residual Aggregation Agent for hierarchical information integration. Additionally, we propose an adaptive termination mechanism that dynamically halts processing based on residual convergence, further improving inference efficiency. RMoA achieves state-of-the-art performance on the benchmarks of across alignment, mathematical reasoning, code generation, and multitasking understanding, while significantly reducing computational overhead. Code is available at https://github.com/mindhunter01/RMoA.