HM-RAG: Hierarchical Multi-Agent Multimodal Retrieval Augmented Generation

📄 arXiv: 2504.12330v1 📥 PDF

作者: Pei Liu, Xin Liu, Ruoyu Yao, Junming Liu, Siyuan Meng, Ding Wang, Jun Ma

分类: cs.CL, cs.AI

发布日期: 2025-04-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出HM-RAG，一种层级多智能体多模态检索增强生成框架，用于复杂查询下的知识合成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 多智能体系统 多模态学习 知识合成 层级架构

📋 核心要点

  1. 传统单智能体RAG在解决复杂查询时存在根本性局限，难以协调异构数据生态系统中的推理。
  2. HM-RAG通过层级多智能体架构，实现查询分解、多源检索和决策整合，从而进行动态知识合成。
  3. 实验表明，HM-RAG在ScienceQA和CrisisMMD数据集上显著提升了答案和问题分类的准确率，达到SOTA。

📝 摘要（中文）

本文提出了一种新颖的层级多智能体多模态检索增强生成（HM-RAG）框架，旨在通过协同智能解决复杂查询，实现跨结构化、非结构化和图数据的动态知识合成。该框架采用三层架构，包含：分解智能体，通过语义感知的查询重写和模式引导的上下文增强，将复杂查询分解为上下文连贯的子任务；多源检索智能体，利用为向量、图和Web数据库设计的即插即用模块，执行并行、模态特定的检索；决策智能体，通过一致性投票整合多源答案，并通过专家模型细化解决检索结果中的差异。该架构通过结合文本、图关系和Web派生的证据，实现了全面的查询理解。在ScienceQA和CrisisMMD基准测试中，答案准确率提高了12.95%，问题分类准确率提高了3.56%。HM-RAG在这两个数据集的零样本设置中均取得了最先进的结果。其模块化架构确保了新数据模态的无缝集成，同时保持了严格的数据治理，标志着在RAG系统中解决多模态推理和知识合成的关键挑战方面取得了重大进展。

🔬 方法详解

问题定义：现有RAG方法在处理需要跨多种数据源（结构化、非结构化、图数据）进行复杂推理的查询时，存在局限性。单智能体RAG难以有效地分解复杂查询，并从异构数据源中提取相关信息，导致答案准确率和问题理解能力不足。

核心思路：HM-RAG的核心思路是利用多智能体协同工作，将复杂查询分解为更小的、易于处理的子任务，并针对不同数据模态采用专门的检索策略。通过决策智能体整合来自不同来源的信息，解决潜在的冲突和不一致性，从而实现更全面和准确的知识合成。这种设计旨在模拟人类专家团队协作解决问题的过程。

技术框架：HM-RAG框架包含三个主要层级：1) 分解智能体：负责将复杂查询分解为上下文相关的子任务，并进行查询重写和上下文增强。2) 多源检索智能体：针对不同的数据模态（如向量数据库、图数据库、Web数据）并行执行检索，每个智能体使用专门的检索模块。3) 决策智能体：整合来自不同检索智能体的答案，通过一致性投票和专家模型细化来解决差异，生成最终答案。

关键创新：HM-RAG的关键创新在于其层级多智能体架构，该架构能够有效地分解复杂查询，并利用针对不同数据模态的专门检索策略。通过决策智能体整合多源信息，提高了答案的准确性和可靠性。此外，HM-RAG的模块化设计允许轻松集成新的数据模态和检索方法。

关键设计：分解智能体使用语义感知的查询重写和模式引导的上下文增强技术，以确保子任务的上下文连贯性。多源检索智能体采用即插即用模块，可以灵活地与不同的数据库集成。决策智能体使用一致性投票机制来选择最可靠的答案，并使用专家模型细化来解决检索结果中的差异。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HM-RAG在ScienceQA数据集上实现了12.95%的答案准确率提升，在CrisisMMD数据集上实现了3.56%的问题分类准确率提升。值得注意的是，HM-RAG在这两个数据集的零样本设置中均取得了最先进的结果，表明其具有良好的泛化能力。

🎯 应用场景

HM-RAG可应用于需要跨多种数据源进行复杂推理的场景，例如科学研究、危机管理、金融分析等。该框架能够帮助用户更有效地获取和整合知识，从而做出更明智的决策。未来，HM-RAG可以扩展到更多领域，并与其他AI技术相结合，以实现更强大的知识合成和推理能力。

📄 摘要（原文）

While Retrieval-Augmented Generation (RAG) augments Large Language Models (LLMs) with external knowledge, conventional single-agent RAG remains fundamentally limited in resolving complex queries demanding coordinated reasoning across heterogeneous data ecosystems. We present HM-RAG, a novel Hierarchical Multi-agent Multimodal RAG framework that pioneers collaborative intelligence for dynamic knowledge synthesis across structured, unstructured, and graph-based data. The framework is composed of three-tiered architecture with specialized agents: a Decomposition Agent that dissects complex queries into contextually coherent sub-tasks via semantic-aware query rewriting and schema-guided context augmentation; Multi-source Retrieval Agents that carry out parallel, modality-specific retrieval using plug-and-play modules designed for vector, graph, and web-based databases; and a Decision Agent that uses consistency voting to integrate multi-source answers and resolve discrepancies in retrieval results through Expert Model Refinement. This architecture attains comprehensive query understanding by combining textual, graph-relational, and web-derived evidence, resulting in a remarkable 12.95% improvement in answer accuracy and a 3.56% boost in question classification accuracy over baseline RAG systems on the ScienceQA and CrisisMMD benchmarks. Notably, HM-RAG establishes state-of-the-art results in zero-shot settings on both datasets. Its modular architecture ensures seamless integration of new data modalities while maintaining strict data governance, marking a significant advancement in addressing the critical challenges of multimodal reasoning and knowledge synthesis in RAG systems. Code is available at https://github.com/ocean-luna/HMRAG.