mKG-RAG: Multimodal Knowledge Graph-Enhanced RAG for Visual Question Answering

📄 arXiv: 2508.05318v1 📥 PDF

作者: Xu Yuan, Liangbo Ning, Wenqi Fan, Qing Li

分类: cs.CV, cs.AI

发布日期: 2025-08-07

💡 一句话要点

提出mKG-RAG，利用多模态知识图谱增强RAG，提升视觉问答性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 多模态学习 知识图谱 检索增强生成 多模态知识融合 大型语言模型 信息检索

📋 核心要点

  1. 传统RAG方法依赖非结构化文档，忽略知识元素间的结构关系，易引入无关或误导信息，降低VQA准确性。
  2. mKG-RAG利用MLLM提取多模态文档中的实体和关系，构建多模态知识图谱，提供结构化知识表示。
  3. 采用双阶段检索策略，结合问题感知的多模态检索器，提升检索效率和精度，实验结果显著优于现有方法。

📝 摘要（中文）

本文提出了一种基于多模态知识图谱增强的检索增强生成框架（mKG-RAG），用于知识密集型视觉问答（VQA）任务。该方法利用多模态大型语言模型（MLLM）进行关键词提取和视觉-文本匹配，从多模态文档中提取语义一致且模态对齐的实体/关系，构建高质量的多模态知识图谱作为结构化知识表示。此外，引入了一种双阶段检索策略，配备了问题感知的多模态检索器，以提高检索效率和精度。实验结果表明，该方法显著优于现有方法，为基于知识的VQA任务树立了新的技术水平。

🔬 方法详解

问题定义：论文旨在解决知识密集型视觉问答（VQA）任务中，传统检索增强生成（RAG）方法因依赖非结构化文档和忽略知识结构关系而导致的检索信息不相关或误导的问题。现有方法难以有效利用外部知识，影响了答案的准确性和可靠性。

核心思路：论文的核心思路是利用多模态知识图谱（mKG）来增强RAG框架。通过构建结构化的知识表示，可以更精确地检索相关知识，并提供更可靠的上下文信息，从而提高VQA的性能。核心在于将非结构化的多模态信息转化为结构化的知识图谱，并设计有效的检索策略。

技术框架：mKG-RAG框架主要包含以下几个阶段：1) 多模态知识图谱构建：利用MLLM进行关键词提取和视觉-文本匹配，从多模态文档中提取实体和关系，构建高质量的mKG。2) 双阶段检索：首先进行粗粒度检索，然后进行细粒度检索，利用问题感知的多模态检索器提高检索精度。3) 知识融合与生成：将检索到的知识融入到MLLM中，生成最终答案。

关键创新：论文的关键创新在于：1) 多模态知识图谱的构建方法：利用MLLM自动构建高质量的mKG，避免了人工标注的成本和偏差。2) 双阶段检索策略：通过粗细粒度结合的检索方式，提高了检索效率和精度。3) 问题感知的多模态检索器：能够根据问题动态调整检索策略，更好地匹配相关知识。与现有方法的本质区别在于，mKG-RAG利用结构化的知识表示，克服了传统RAG方法的局限性。

关键设计：论文中关于知识图谱构建，使用了MLLM进行实体和关系抽取，具体使用的模型和prompt设计未知。双阶段检索中，问题感知的多模态检索器的具体实现方式（例如，使用的注意力机制、损失函数等）未知。知识融合与生成阶段，如何将检索到的知识有效地融入到MLLM中，以及如何训练MLLM以更好地利用这些知识，具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，mKG-RAG在知识型VQA任务上显著优于现有方法，取得了state-of-the-art的性能。具体提升幅度未知，但摘要中强调了“significantly outperforms existing methods”，表明性能提升较为显著。该方法验证了多模态知识图谱在增强RAG框架方面的有效性。

🎯 应用场景

该研究成果可应用于智能问答系统、视觉内容理解、教育辅助、医疗诊断等领域。通过利用多模态知识图谱，可以提升机器对复杂场景的理解和推理能力，为用户提供更准确、更可靠的信息服务。未来可扩展到其他知识密集型任务，例如图像描述生成、视频摘要等。

📄 摘要（原文）

Recently, Retrieval-Augmented Generation (RAG) has been proposed to expand internal knowledge of Multimodal Large Language Models (MLLMs) by incorporating external knowledge databases into the generation process, which is widely used for knowledge-based Visual Question Answering (VQA) tasks. Despite impressive advancements, vanilla RAG-based VQA methods that rely on unstructured documents and overlook the structural relationships among knowledge elements frequently introduce irrelevant or misleading content, reducing answer accuracy and reliability. To overcome these challenges, a promising solution is to integrate multimodal knowledge graphs (KGs) into RAG-based VQA frameworks to enhance the generation by introducing structured multimodal knowledge. Therefore, in this paper, we propose a novel multimodal knowledge-augmented generation framework (mKG-RAG) based on multimodal KGs for knowledge-intensive VQA tasks. Specifically, our approach leverages MLLM-powered keyword extraction and vision-text matching to distill semantically consistent and modality-aligned entities/relationships from multimodal documents, constructing high-quality multimodal KGs as structured knowledge representations. In addition, a dual-stage retrieval strategy equipped with a question-aware multimodal retriever is introduced to improve retrieval efficiency while refining precision. Comprehensive experiments demonstrate that our approach significantly outperforms existing methods, setting a new state-of-the-art for knowledge-based VQA.