MIRA: A Novel Framework for Fusing Modalities in Medical RAG

📄 arXiv: 2507.07902v1 📥 PDF

作者: Jinhong Wang, Tajamul Ashraf, Zongyan Han, Jorma Laaksonen, Rao Mohammad Anwer

分类: cs.CV

发布日期: 2025-07-10

备注: ACM Multimedia 2025

🔗 代码/项目: GITHUB

💡 一句话要点

MIRA：一种用于医学RAG中融合多模态信息的新框架，显著提升事实准确性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 医学图像 检索增强生成 大型语言模型 事实准确性 医疗诊断 知识库

📋 核心要点

  1. 现有MLLM在医学诊断中存在事实性错误，RAG方法虽能引入外部知识，但面临检索信息不足或过多的挑战。
  2. MIRA框架通过校准的重思考和重排列模块动态调整检索上下文数量，并结合图像嵌入和医学知识库，实现更准确的多模态推理。
  3. 在医学VQA和报告生成基准测试中，MIRA显著提高了事实准确性和整体性能，达到了新的state-of-the-art水平。

📝 摘要（中文）

多模态大型语言模型（MLLM）在AI辅助医疗诊断方面取得了显著进展，但它们经常生成与既定医学知识不符的事实性不一致的回答。检索增强生成（RAG）通过整合外部来源来提高事实准确性，但它面临两个关键挑战。首先，检索不足可能会遗漏关键信息，而过度检索可能会引入不相关或误导性内容，从而扰乱模型输出。其次，即使模型最初提供了正确的答案，过度依赖检索到的数据也可能导致事实错误。为了解决这些问题，我们引入了多模态智能检索和增强（MIRA）框架，旨在优化MLLM中的事实准确性。MIRA由两个关键组件组成：（1）一个经过校准的重新思考和重新排列模块，该模块动态调整检索到的上下文数量以管理事实风险，以及（2）一个医学RAG框架，该框架集成了图像嵌入和医学知识库，并具有查询重写模块，以实现高效的多模态推理。这使模型能够有效地整合其固有的知识和外部参考。我们对公开可用的医学VQA和报告生成基准的评估表明，MIRA显着提高了事实准确性和整体性能，实现了新的最先进的结果。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLM）在医学领域应用中，由于事实性错误导致诊断结果不准确的问题。现有的检索增强生成（RAG）方法虽然可以引入外部知识，但存在检索不足或过度检索的问题，前者导致关键信息缺失，后者引入无关信息干扰模型判断。此外，模型过度依赖检索信息也可能导致事实性错误。

核心思路：MIRA框架的核心思路是通过动态调整检索上下文的数量，平衡检索信息量与事实风险。它利用一个校准的重思考和重排列模块，根据当前问题的难度和模型置信度，自适应地选择合适的检索范围。同时，MIRA集成了图像嵌入和医学知识库，并通过查询重写模块优化多模态信息的融合，从而提高模型推理的准确性。

技术框架：MIRA框架主要包含两个核心模块：（1）校准的重思考和重排列模块：该模块负责动态调整检索到的上下文数量，以管理事实风险。具体来说，它首先对原始查询进行“重思考”，判断是否需要进行检索。如果需要检索，则根据模型的置信度动态调整检索范围，避免检索不足或过度检索。（2）医学RAG框架：该框架集成了图像嵌入和医学知识库。图像嵌入用于提取医学图像的特征，医学知识库提供结构化的医学知识。此外，该框架还包含一个查询重写模块，用于优化查询，使其更适合检索医学知识。整个流程是，首先通过查询重写模块优化查询，然后利用图像嵌入和医学知识库进行检索，最后将检索到的信息与原始查询一起输入到MLLM中进行推理。

关键创新：MIRA框架的关键创新在于其动态调整检索上下文数量的能力。与传统的RAG方法不同，MIRA不是简单地检索固定数量的文档，而是根据问题的难度和模型的置信度，自适应地选择合适的检索范围。这种动态调整机制可以有效地平衡检索信息量与事实风险，提高模型推理的准确性。此外，MIRA框架集成了图像嵌入和医学知识库，并通过查询重写模块优化多模态信息的融合，进一步提高了模型的性能。

关键设计：关于校准的重思考和重排列模块，具体实现细节未知，论文中可能涉及置信度阈值、检索数量调整策略等关键参数设置。医学RAG框架中，图像嵌入的具体方法（例如，使用预训练的视觉模型提取特征）和医学知识库的构建方式（例如，使用医学本体或知识图谱）也需要进一步研究。查询重写模块的具体算法（例如，使用基于规则的方法或基于学习的方法）也需要深入了解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MIRA框架在公开的医学VQA和报告生成基准测试中取得了显著的性能提升，达到了新的state-of-the-art水平。具体的数据和提升幅度需要在论文中进一步查找，但总体而言，MIRA框架在事实准确性和整体性能方面都优于现有的方法。

🎯 应用场景

MIRA框架在医疗诊断、报告生成、医学教育等领域具有广泛的应用前景。它可以辅助医生进行更准确的诊断，自动生成高质量的医疗报告，并为医学学生提供更有效的学习资源。该研究有助于推动AI在医疗领域的应用，提高医疗服务的质量和效率。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have significantly advanced AI-assisted medical diagnosis, but they often generate factually inconsistent responses that deviate from established medical knowledge. Retrieval-Augmented Generation (RAG) enhances factual accuracy by integrating external sources, but it presents two key challenges. First, insufficient retrieval can miss critical information, whereas excessive retrieval can introduce irrelevant or misleading content, disrupting model output. Second, even when the model initially provides correct answers, over-reliance on retrieved data can lead to factual errors. To address these issues, we introduce the Multimodal Intelligent Retrieval and Augmentation (MIRA) framework, designed to optimize factual accuracy in MLLM. MIRA consists of two key components: (1) a calibrated Rethinking and Rearrangement module that dynamically adjusts the number of retrieved contexts to manage factual risk, and (2) A medical RAG framework integrating image embeddings and a medical knowledge base with a query-rewrite module for efficient multimodal reasoning. This enables the model to effectively integrate both its inherent knowledge and external references. Our evaluation of publicly available medical VQA and report generation benchmarks demonstrates that MIRA substantially enhances factual accuracy and overall performance, achieving new state-of-the-art results. Code is released at https://github.com/mbzuai-oryx/MIRA.