MASS-RAG: Multi-Agent Synthesis Retrieval-Augmented Generation

📄 arXiv: 2604.18509v1 📥 PDF

作者: Xingchen Xiao, Heyan Huang, Runheng Liu, Jincheng Xie

分类: cs.CL

发布日期: 2026-04-20

备注: 19 pages

💡 一句话要点

提出MASS-RAG，一种多智能体合成的检索增强生成方法，提升噪声环境下知识整合效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 多智能体系统 知识整合 证据推理 大型语言模型

📋 核心要点

  1. 现有RAG方法在处理噪声、不完整或异构的检索上下文时，难以有效整合证据。
  2. MASS-RAG采用多智能体架构，分别进行证据总结、提取和推理，最后进行合成。
  3. 实验表明，MASS-RAG在多个基准测试中优于现有RAG方法，尤其在证据分散的情况下。

📝 摘要（中文）

大型语言模型（LLMs）广泛应用于检索增强生成（RAG）中，以便在推理时整合外部知识。然而，当检索到的上下文存在噪声、不完整或异构时，单一的生成过程通常难以有效地协调证据。我们提出了MASS-RAG，一种多智能体合成的检索增强生成方法，它将证据处理结构化为多个角色专门化的智能体。MASS-RAG应用不同的智能体进行证据总结、证据提取以及对检索文档进行推理，并通过专门的合成阶段组合它们的输出以生成最终答案。这种设计暴露了多个中间证据视图，允许模型在答案生成之前比较和整合互补信息。在四个基准测试上的实验表明，MASS-RAG始终优于强大的RAG基线，尤其是在相关证据分布在检索上下文中的情况下。

🔬 方法详解

问题定义：论文旨在解决检索增强生成（RAG）中，当检索到的上下文包含噪声、不完整或异构信息时，单一生成过程难以有效整合证据的问题。现有的RAG方法通常直接将检索到的文档输入到LLM中进行生成，容易受到噪声信息干扰，且难以充分利用分散在不同文档中的相关信息。

核心思路：MASS-RAG的核心思路是将证据处理过程分解为多个角色专门化的智能体，每个智能体负责不同的任务，例如证据总结、证据提取和推理。通过这种方式，模型可以从多个角度审视证据，并更好地整合互补信息，从而提高生成质量。

技术框架：MASS-RAG的整体架构包含以下几个主要模块：1) 检索模块：从外部知识库中检索相关文档。2) 智能体模块：包含多个角色专门化的智能体，例如证据总结智能体、证据提取智能体和推理智能体。3) 合成模块：将各个智能体的输出进行整合，生成最终答案。4) 生成模块：利用LLM生成最终答案。

关键创新：MASS-RAG最重要的技术创新点在于其多智能体架构，它将证据处理过程分解为多个独立的任务，并由不同的智能体负责。这种设计允许模型从多个角度审视证据，并更好地整合互补信息。与现有RAG方法相比，MASS-RAG能够更好地处理噪声、不完整或异构的检索上下文。

关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。但可以推断，每个智能体可能采用不同的LLM或微调策略，以适应其特定的任务。合成模块的设计也至关重要，需要有效地整合各个智能体的输出，并避免信息冗余或冲突。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MASS-RAG在四个基准测试中始终优于强大的RAG基线。尤其是在相关证据分布在检索上下文中的情况下，MASS-RAG的性能提升更为显著。具体的性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

MASS-RAG具有广泛的应用前景，例如问答系统、信息检索、知识图谱构建等。它可以应用于需要整合多个来源信息的场景，尤其是在信息质量参差不齐的情况下。该研究的成果有助于提高LLM在复杂信息环境下的应用效果，并推动RAG技术的发展。

📄 摘要（原文）

Large language models (LLMs) are widely used in retrieval-augmented generation (RAG) to incorporate external knowledge at inference time. However, when retrieved contexts are noisy, incomplete, or heterogeneous, a single generation process often struggles to reconcile evidence effectively. We propose \textbf{MASS-RAG}, a multi-agent synthesis approach to retrieval-augmented generation that structures evidence processing into multiple role-specialized agents. MASS-RAG applies distinct agents for evidence summarization, evidence extraction, and reasoning over retrieved documents, and combines their outputs through a dedicated synthesis stage to produce the final answer. This design exposes multiple intermediate evidence views, allowing the model to compare and integrate complementary information before answer generation. Experiments on four benchmarks show that MASS-RAG consistently improves performance over strong RAG baselines, particularly in settings where relevant evidence is distributed across retrieved contexts.