MMRAG: Multi-Mode Retrieval-Augmented Generation with Large Language Models for Biomedical In-Context Learning
作者: Zaifu Zhan, Jun Wang, Shuang Zhou, Jiawen Deng, Rui Zhang
分类: cs.CL, cs.AI
发布日期: 2025-02-21
备注: Submitted to JAMIA
💡 一句话要点
MMRAG：多模式检索增强生成框架，提升生物医学领域上下文学习效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模式检索 上下文学习 生物医学NLP 大型语言模型 检索增强生成
📋 核心要点
- 生物医学NLP中，上下文学习受限于示例选择，现有方法难以有效利用有限数据。
- MMRAG框架融合随机、Top、多样性和类别四种检索模式，提升示例选择质量。
- 实验表明，MMRAG在关系抽取任务上F1值提升26.4%，Contriever检索器表现更优。
📝 摘要（中文）
本文旨在通过改进示例选择来优化生物医学自然语言处理中的上下文学习。为此，我们提出了一种新颖的多模式检索增强生成（MMRAG）框架，该框架集成了四种检索策略：（1）随机模式，任意选择示例；（2）Top模式，检索基于相似性的最相关示例；（3）多样性模式，确保所选示例的多样性；（4）类别模式，选择具有类别代表性的示例。本研究在三个核心生物医学NLP任务上评估MMRAG：命名实体识别（NER）、关系抽取（RE）和文本分类（TC）。使用的数据集包括用于基因和蛋白质提及识别的BC2GM（NER），用于药物-药物相互作用提取的DDI（RE），用于一般生物医学信息提取的GIT（RE）和用于健康相关文本分类的HealthAdvice（TC）。该框架使用两个大型语言模型（Llama2-7B，Llama3-8B）和三个检索器（Contriever，MedCPT，BGE-Large）进行测试，以评估不同检索策略的性能。结果表明，随机模式下，在提示中提供更多示例可以提高模型的生成性能。同时，Top模式和多样性模式在RE（DDI）任务上明显优于随机模式，F1得分达到0.9669，提高了26.4％。在测试的三个检索器中，Contriever在更多实验中优于其他两个。此外，Llama 2和Llama 3在不同任务中表现出不同的能力，Llama 3在处理NER任务方面表现出明显的优势。结论是，MMRAG通过改进示例选择，有效增强了生物医学上下文学习，缓解了数据稀缺问题，并展示了NLP驱动的医疗保健应用的卓越适应性。
🔬 方法详解
问题定义：论文旨在解决生物医学自然语言处理中上下文学习的示例选择问题。现有方法在选择示例时，要么随机选择，要么只选择最相关的示例，缺乏多样性或类别代表性，导致模型性能受限，尤其是在数据稀缺的情况下。
核心思路：论文的核心思路是结合多种检索策略，从不同角度选择示例，从而为大型语言模型提供更全面、更有信息量的上下文。通过融合随机性、相关性、多样性和类别代表性，弥补单一检索策略的不足，提升模型的泛化能力和鲁棒性。
技术框架：MMRAG框架包含以下主要模块：1) 查询编码器：将输入问题编码为向量表示。2) 检索器：使用Contriever、MedCPT或BGE-Large等检索器，根据不同模式（随机、Top、多样性、类别）从示例库中检索相关示例。3) 提示构建器：将检索到的示例与输入问题组合成提示。4) 大型语言模型：使用Llama2-7B或Llama3-8B等LLM，根据提示生成答案。整体流程是：输入问题 -> 查询编码 -> 多模式检索 -> 提示构建 -> LLM生成 -> 输出答案。
关键创新：MMRAG的关键创新在于多模式检索策略的融合。它不是简单地依赖单一的检索方法，而是结合了随机性、相关性、多样性和类别代表性，从而更全面地利用了示例库中的信息。这种多模式融合的思想可以应用于其他上下文学习场景，提升模型的性能和泛化能力。
关键设计：在多样性模式中，可能使用了最大边缘相关性（MMR）等算法来选择具有代表性的多样化示例。类别模式可能需要预先对示例进行分类，并选择每个类别中最具代表性的示例。具体的损失函数和网络结构取决于所使用的检索器和大型语言模型，论文可能没有详细描述这些细节。
📊 实验亮点
实验结果表明，MMRAG框架在关系抽取（DDI）任务上，Top模式和多样性模式相比随机模式，F1得分提升了26.4%，达到了0.9669。Contriever检索器在多数实验中表现优于MedCPT和BGE-Large。Llama3-8B在命名实体识别任务上表现出明显的优势。
🎯 应用场景
该研究成果可广泛应用于生物医学文本挖掘、智能问答、辅助诊断等领域。通过提升模型在数据稀缺场景下的性能，有助于开发更可靠、更高效的医疗健康应用，例如疾病诊断、药物研发、个性化治疗方案推荐等，具有重要的实际应用价值。
📄 摘要（原文）
Objective: To optimize in-context learning in biomedical natural language processing by improving example selection. Methods: We introduce a novel multi-mode retrieval-augmented generation (MMRAG) framework, which integrates four retrieval strategies: (1) Random Mode, selecting examples arbitrarily; (2) Top Mode, retrieving the most relevant examples based on similarity; (3) Diversity Mode, ensuring variation in selected examples; and (4) Class Mode, selecting category-representative examples. This study evaluates MMRAG on three core biomedical NLP tasks: Named Entity Recognition (NER), Relation Extraction (RE), and Text Classification (TC). The datasets used include BC2GM for gene and protein mention recognition (NER), DDI for drug-drug interaction extraction (RE), GIT for general biomedical information extraction (RE), and HealthAdvice for health-related text classification (TC). The framework is tested with two large language models (Llama2-7B, Llama3-8B) and three retrievers (Contriever, MedCPT, BGE-Large) to assess performance across different retrieval strategies. Results: The results from the Random mode indicate that providing more examples in the prompt improves the model's generation performance. Meanwhile, Top mode and Diversity mode significantly outperform Random mode on the RE (DDI) task, achieving an F1 score of 0.9669, a 26.4% improvement. Among the three retrievers tested, Contriever outperformed the other two in a greater number of experiments. Additionally, Llama 2 and Llama 3 demonstrated varying capabilities across different tasks, with Llama 3 showing a clear advantage in handling NER tasks. Conclusion: MMRAG effectively enhances biomedical in-context learning by refining example selection, mitigating data scarcity issues, and demonstrating superior adaptability for NLP-driven healthcare applications.