Enhancing RAG-based Medical VQA with Gated Multimodal Representations

📄 arXiv: 2610.23588v1 📥 PDF

作者: Daniela Jimenez-Pano, Hugo Jair Escalante, Delia Irazú Hernández-Farías

分类: cs.CV, cs.CL

发布日期: 2026-10-16

备注: Preprint submitted to ECIR

💡 一句话要点

提出多模态RAG框架以提升医学视觉问答的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学视觉问答 多模态融合 检索增强生成 门控多模态单元 临床证据

📋 核心要点

  1. 现有医学视觉语言模型在回答医学问题时，可能会出现事实不一致的问题，影响其可靠性。
  2. 本文提出了一种多模态RAG框架，通过门控多模态单元实现联合查询表示，增强了证据检索的有效性。
  3. 实验结果表明，所提方法在基准数据集上表现优于传统Med-LVLM，并与当前最先进的方法相当。

📝 摘要（中文）

医学视觉语言模型（Med-LVLMs）在医学视觉问答（MVQA）中表现出色，但仍可能产生事实不一致的回答。检索增强生成（RAG）方法通过引入外部临床证据来缓解这一问题，但通常仅依赖单一模态进行检索，可能忽视医学图像与临床问题的联合语义。本文提出了一种多模态RAG框架，通过门控多模态单元学习联合查询表示，使得证据检索能够同时利用两种模态的信息，同时保持基础的Med-LVLM不变。我们在基准数据集上评估了该方法，结果表明，多模态查询表示在性能上始终优于参考的Med-LVLM，并与最先进的方法保持竞争力。我们的研究结果展示了多模态查询表示在医学视觉问答中更有效的证据检索潜力。

🔬 方法详解

问题定义：本文旨在解决医学视觉问答中存在的事实不一致问题，现有方法通常依赖单一模态进行检索，导致信息利用不充分。

核心思路：通过引入门控多模态单元，学习联合查询表示，使得检索过程能够同时考虑医学图像和临床问题的语义信息，从而提升检索的准确性。

技术框架：整体架构包括一个门控多模态单元，用于生成联合查询表示，接着进行证据检索，最后将检索到的证据与Med-LVLM结合以生成答案。

关键创新：最重要的创新在于提出了多模态查询表示的概念，使得检索过程能够充分利用多种模态的信息，这与传统的单模态检索方法有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以优化联合查询表示的学习，同时保持Med-LVLM的参数不变，从而确保模型的稳定性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，所提出的多模态查询表示在多个基准数据集上均优于参考的Med-LVLM，且在与最先进的方法比较时，保持了竞争力，具体性能提升幅度未明确给出，但整体表现显著提升。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床决策支持系统以及智能医疗助手等。通过提升医学视觉问答的准确性，能够帮助医生更快地获取信息，改善患者的诊疗体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Medical Vision-Language Models (Med-LVLMs) have shown strong performance in Medical Visual Question Answering (MVQA), yet they may still produce factually inconsistent responses. Retrieval-Augmented Generation (RAG) can mitigate this issue by incorporating external clinical evidence; however, retrieval is often guided by a single modality, potentially overlooking the joint semantics of medical images and clinical questions. We introduce a multimodal RAG framework that learns a joint query representation through a Gated Multimodal Unit, enabling evidence retrieval to leverage information from both modalities while keeping the underlying Med-LVLM frozen. We evaluate the proposed approach on benchmark datasets. Results show that the multimodal query representation consistently outperforms a reference Med-LVLM and remains competitive with state-of-the-art methods. Our findings demonstrate the potential of multimodal query representations for more effective evidence retrieval in Medical VQA.