Med-GRIM: Enhanced Zero-Shot Medical VQA using prompt-embedded Multimodal Graph RAG

📄 arXiv: 2508.06496v1 📥 PDF

作者: Rakesh Raj Madavan, Akshat Kaimal, Hashim Faisal, Chandrakala S

分类: cs.CV, cs.MA

发布日期: 2025-07-20

🔗 代码/项目: GITHUB

💡 一句话要点

Med-GRIM：利用提示嵌入多模态图RAG增强零样本医学VQA

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学VQA 零样本学习 图检索 提示工程 多模态融合 知识图谱 皮肤病学

📋 核心要点

  1. 医学VQA需要精确的领域知识，现有VQA模型难以提供足够详细和准确的答案。
  2. Med-GRIM通过图检索和提示工程，将领域知识动态注入VQA系统，提升响应的准确性和鲁棒性。
  3. Med-GRIM采用低计算模块化流程，使用小型语言模型，在保证性能的同时降低了计算成本。

📝 摘要（中文）

针对视觉问答（VQA）任务，训练好的多模态编码器和视觉-语言模型（VLMs）集成已成为一种标准方法。然而，这些模型通常无法生成具有详细精确度的响应，这对于复杂的、特定领域的应用（如医学VQA）是必需的。我们的表示模型BIND：BLIVA集成密集编码，通过受对比预训练技术启发的密集、基于查询令牌的编码来改进联合嵌入空间，从而扩展了先前的多模态工作。这种改进的编码器为Med-GRIM提供支持，Med-GRIM是一种专为医学VQA任务设计的模型，它利用基于图的检索和提示工程来集成领域特定知识。Med-GRIM没有依赖于对特定数据集进行计算密集型的视觉和语言模型微调，而是采用了一种低计算、模块化的工作流程，并使用小型语言模型（SLMs）来提高效率。Med-GRIM采用基于提示的检索来动态注入相关知识，从而确保其响应的准确性和鲁棒性。通过为VQA系统中的每个代理分配不同的角色，Med-GRIM以一小部分计算成本实现了大型语言模型的性能。此外，为了支持零样本多模态医学应用中的可扩展研究，我们引入了DermaGraph，这是一个新颖的Graph-RAG数据集，包含各种皮肤病学条件。该数据集有助于多模态和单模态查询。代码和数据集可在https://github.com/Rakesh-123-cryp/Med-GRIM.git获取。

🔬 方法详解

问题定义：医学视觉问答（VQA）任务需要模型具备精确的领域知识，而现有VQA模型，尤其是基于大型语言模型（LLMs）微调的方法，往往计算成本高昂，且难以泛化到新的医学领域。现有的方法难以在计算资源有限的情况下，提供准确且鲁棒的医学VQA服务。

核心思路：Med-GRIM的核心思路是利用图检索增强的提示工程，将领域知识动态地注入到VQA系统中。通过构建医学知识图谱，并使用提示引导模型检索相关知识，从而提高模型在医学VQA任务中的准确性和鲁棒性。这种方法避免了对大型语言模型进行昂贵的微调，并允许模型利用外部知识来弥补自身知识的不足。

技术框架：Med-GRIM的整体框架包含以下几个主要模块：1) 多模态编码器（BIND）：用于提取图像和问题的特征，并将其嵌入到联合嵌入空间中。2) 知识图谱（DermaGraph）：包含医学领域的知识，例如疾病、症状、治疗方法等。3) 提示生成器：根据问题和图像特征，生成用于检索知识图谱的提示。4) 图检索模块：根据提示，从知识图谱中检索相关的知识。5) 语言模型：将检索到的知识和问题、图像特征结合起来，生成答案。

关键创新：Med-GRIM的关键创新在于：1) BIND编码器：通过密集编码改进了联合嵌入空间，提升了多模态特征的表达能力。2) 图检索增强的提示工程：将领域知识动态地注入到VQA系统中，提高了模型的准确性和鲁棒性。3) 低计算模块化流程：使用小型语言模型，降低了计算成本。4) DermaGraph数据集：提供了一个用于零样本多模态医学应用的基准数据集。

关键设计：BIND编码器采用了基于查询令牌的密集编码，灵感来源于对比预训练技术。提示生成器使用问题和图像特征作为输入，生成用于检索知识图谱的提示。图检索模块使用图神经网络来计算节点之间的相似度，并检索相关的知识。语言模型可以使用各种小型语言模型，例如BERT或GPT-2。DermaGraph数据集包含各种皮肤病学条件，并提供多模态和单模态查询。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Med-GRIM在零样本医学VQA任务上取得了显著的性能提升，尤其是在DermaGraph数据集上。该模型在很大程度上优于直接使用大型语言模型的方法，同时显著降低了计算成本。实验结果表明，通过图检索增强的提示工程可以有效地将领域知识注入到VQA系统中，从而提高模型的准确性和鲁棒性。

🎯 应用场景

Med-GRIM在医疗诊断辅助、医学教育和患者咨询等领域具有广泛的应用前景。它可以帮助医生快速准确地诊断疾病，为医学生提供丰富的学习资源，并为患者提供个性化的健康建议。未来，Med-GRIM可以扩展到其他医学领域，并与其他医疗设备和系统集成，从而构建更加智能化的医疗服务体系。

📄 摘要（原文）

An ensemble of trained multimodal encoders and vision-language models (VLMs) has become a standard approach for visual question answering (VQA) tasks. However, such models often fail to produce responses with the detailed precision necessary for complex, domain-specific applications such as medical VQA. Our representation model, BIND: BLIVA Integrated with Dense Encoding, extends prior multimodal work by refining the joint embedding space through dense, query-token-based encodings inspired by contrastive pretraining techniques. This refined encoder powers Med-GRIM, a model designed for medical VQA tasks that leverages graph-based retrieval and prompt engineering to integrate domain-specific knowledge. Rather than relying on compute-heavy fine-tuning of vision and language models on specific datasets, Med-GRIM applies a low-compute, modular workflow with small language models (SLMs) for efficiency. Med-GRIM employs prompt-based retrieval to dynamically inject relevant knowledge, ensuring both accuracy and robustness in its responses. By assigning distinct roles to each agent within the VQA system, Med-GRIM achieves large language model performance at a fraction of the computational cost. Additionally, to support scalable research in zero-shot multimodal medical applications, we introduce DermaGraph, a novel Graph-RAG dataset comprising diverse dermatological conditions. This dataset facilitates both multimodal and unimodal querying. The code and dataset are available at: https://github.com/Rakesh-123-cryp/Med-GRIM.git