MA-RAG: Multi-Agent Retrieval-Augmented Generation via Collaborative Chain-of-Thought Reasoning

📄 arXiv: 2505.20096v2 📥 PDF

作者: Thang Nguyen, Peter Chin, Yu-Wing Tai

分类: cs.CL, cs.AI

发布日期: 2025-05-26 (更新: 2025-10-11)

💡 一句话要点

提出MA-RAG多智能体框架，通过协同CoT推理解决复杂信息检索增强生成任务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 检索增强生成 思维链推理 知识库问答 多跳推理 LLM 协同推理 模块化设计

📋 核心要点

  1. 现有RAG方法在处理复杂信息检索任务时，面临查询歧义和多跳推理的挑战，难以保证答案的准确性和可解释性。
  2. MA-RAG框架通过引入多个协作智能体，将复杂任务分解为可管理的子任务，利用思维链提示进行中间推理，从而提升检索和生成质量。
  3. 实验表明，MA-RAG在多个QA基准测试中显著优于现有方法，即使是较小的模型也能超越大型独立LLM，并在医学QA等领域展现出竞争力。

📝 摘要（中文）

本文提出了一种多智能体检索增强生成（MA-RAG）框架，旨在解决复杂信息检索任务中固有的模糊性和推理挑战。与依赖端到端微调或孤立组件增强的传统RAG方法不同，MA-RAG协调一组专门的AI智能体：规划器、步骤定义器、提取器和问答智能体，每个智能体负责RAG流程的不同阶段。通过将任务分解为子任务（如查询消歧、证据提取和答案综合），并使智能体能够通过思维链提示传递中间推理，MA-RAG逐步改进检索和综合，同时保持模块化的可解释性。在多跳和模糊QA基准测试（包括NQ、HotpotQA、2WikimQA和TriviaQA）上的大量实验表明，MA-RAG在所有模型规模上均显着优于独立的LLM和现有的RAG方法。值得注意的是，即使是配备MA-RAG的小型LLaMA3-8B模型也超过了更大的独立LLM，而更大的变体（LLaMA3-70B和GPT-4o-mini）在具有挑战性的多跳数据集上创造了新的最先进的结果。消融研究表明，规划器和提取器智能体对于多跳推理至关重要，并且高容量模型对于QA智能体有效地综合答案尤其重要。除了通用领域QA之外，MA-RAG还推广到医学QA等专业领域，在没有任何领域特定微调的情况下实现了与领域特定模型相比具有竞争力的性能。我们的结果突出了协作式模块化推理在检索增强系统中的有效性：MA-RAG不仅提高了答案的准确性和鲁棒性，而且提供了可解释的中间推理步骤，为高效可靠的多智能体RAG建立了一种新的范例。

🔬 方法详解

问题定义：论文旨在解决复杂信息检索增强生成任务中，由于查询歧义和多跳推理带来的挑战。现有RAG方法通常采用端到端微调或孤立的组件增强，缺乏对复杂推理过程的有效建模和可解释性，导致答案准确率和鲁棒性不足。

核心思路：论文的核心思路是将复杂的RAG流程分解为多个由专门智能体协作完成的子任务。通过引入规划器、步骤定义器、提取器和问答智能体，每个智能体负责特定的任务阶段，并通过思维链提示进行中间推理的交流，从而实现更精细化的检索和更准确的答案生成。这种模块化的设计也提高了系统的可解释性。

技术框架：MA-RAG框架包含以下主要模块：1) 规划器(Planner)：负责将复杂问题分解为一系列子问题或步骤。2) 步骤定义器(Step Definer)：明确每个步骤的具体目标和所需信息。3) 提取器(Extractor)：根据步骤定义，从知识库中检索相关证据。4) 问答智能体(QA Agent)：利用提取的证据和思维链推理，生成最终答案。这些智能体通过协作和信息传递，逐步完成整个RAG流程。

关键创新：MA-RAG的关键创新在于其多智能体协作的架构和思维链推理的应用。与传统的单智能体RAG方法相比，MA-RAG能够更有效地处理复杂的多跳推理任务，并通过智能体之间的信息交流，提高检索和生成的准确性和可解释性。这种模块化的设计也使得系统更易于维护和扩展。

关键设计：论文中关键的设计包括：1) 智能体角色定义：明确每个智能体的职责和功能，确保任务分解的合理性和高效性。2) 思维链提示：利用思维链提示引导智能体进行推理，并促进智能体之间的信息交流。3) 模型选择：针对不同智能体的任务特点，选择合适的LLM模型，例如，QA智能体需要更强大的生成能力。4) 训练策略：采用合适的训练策略，例如，可以对每个智能体进行单独训练或联合训练。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MA-RAG在NQ、HotpotQA、2WikimQA和TriviaQA等多个QA基准测试中显著优于现有方法。例如，配备MA-RAG的LLaMA3-8B模型超越了更大的独立LLM。在具有挑战性的多跳数据集上，LLaMA3-70B和GPT-4o-mini模型取得了新的state-of-the-art结果。消融实验表明，规划器和提取器智能体对于多跳推理至关重要。此外，MA-RAG在医学QA领域也展现出竞争力，无需领域特定微调。

🎯 应用场景

MA-RAG框架具有广泛的应用前景，可应用于智能问答系统、医疗诊断辅助、金融风险评估、法律咨询等领域。通过多智能体协作和思维链推理，MA-RAG能够更准确地理解用户意图，检索相关信息，并生成高质量的答案或建议，从而提高决策效率和准确性。未来，MA-RAG有望成为构建更智能、更可靠的AI系统的关键技术。

📄 摘要（原文）

We present MA-RAG, a Multi-Agent framework for Retrieval-Augmented Generation (RAG) that addresses the inherent ambiguities and reasoning challenges in complex information-seeking tasks. Unlike conventional RAG methods that rely on end-to-end fine-tuning or isolated component enhancements, MA-RAG orchestrates a collaborative set of specialized AI agents: Planner, Step Definer, Extractor, and QA Agents, each responsible for a distinct stage of the RAG pipeline. By decomposing tasks into subtasks such as query disambiguation, evidence extraction, and answer synthesis, and enabling agents to communicate intermediate reasoning via chain-of-thought prompting, MA-RAG progressively refines retrieval and synthesis while maintaining modular interpretability. Extensive experiments on multi-hop and ambiguous QA benchmarks, including NQ, HotpotQA, 2WikimQA, and TriviaQA, demonstrate that MA-RAG significantly outperforms standalone LLMs and existing RAG methods across all model scales. Notably, even a small LLaMA3-8B model equipped with MA-RAG surpasses larger standalone LLMs, while larger variants (LLaMA3-70B and GPT-4o-mini) set new state-of-the-art results on challenging multi-hop datasets. Ablation studies reveal that both the planner and extractor agents are critical for multi-hop reasoning, and that high-capacity models are especially important for the QA agent to synthesize answers effectively. Beyond general-domain QA, MA-RAG generalizes to specialized domains such as medical QA, achieving competitive performance against domain-specific models without any domain-specific fine-tuning. Our results highlight the effectiveness of collaborative, modular reasoning in retrieval-augmented systems: MA-RAG not only improves answer accuracy and robustness but also provides interpretable intermediate reasoning steps, establishing a new paradigm for efficient and reliable multi-agent RAG.