RAMIE: Retrieval-Augmented Multi-task Information Extraction with Large Language Models on Dietary Supplements
作者: Zaifu Zhan, Shuang Zhou, Mingchen Li, Rui Zhang
分类: cs.CL, cs.AI, cs.CE
发布日期: 2024-11-24
期刊: Journal of the American Medical Informatics Association, Volume 32, Issue 3, March 2025, Pages 545:554
💡 一句话要点
提出RAMIE框架，利用检索增强的多任务LLM提升膳食补充剂信息抽取性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 信息抽取 多任务学习 检索增强生成 大型语言模型 膳食补充剂
📋 核心要点
- 现有方法在处理膳食补充剂临床记录信息抽取任务时，缺乏对多任务的有效整合和知识的充分利用。
- RAMIE框架通过指令微调、多任务学习和检索增强生成技术，提升模型在多个信息抽取任务上的性能。
- 实验结果表明，RAMIE框架在NER、RE、TE和UC等任务上均取得了显著的性能提升，尤其在TE任务上提升明显。
📝 摘要（中文）
本研究旨在开发一种先进的多任务大型语言模型（LLM）框架，用于从临床记录中提取关于膳食补充剂（DS）的多种类型信息。我们使用了四个核心的DS信息抽取任务作为多任务学习目标，包括命名实体识别（NER）、关系抽取（RE）、三元组抽取（TE）和用法分类（UC）。我们引入了一种新颖的检索增强多任务信息抽取（RAMIE）框架，包括：1) 采用带有特定任务提示的指令微调技术；2) 训练LLM以执行多个任务，同时提高存储效率和降低训练成本；3) 通过从训练集中检索相似的例子来结合检索增强生成（RAG）技术。我们将RAMIE的性能与仅使用指令微调的LLM进行了比较，并进行了消融研究，以评估多任务学习和RAG对提高多任务性能的贡献。结果表明，借助RAMIE框架，Llama2-13B在NER任务上取得了87.39的F1分数（提升3.51%），并在RE任务上表现出色，F1分数为93.74（提升1.15%）。对于TE任务，Llama2-7B的F1分数为79.45（提升14.26%），MedAlpaca-7B在UC任务上取得了最高的F1分数93.45（提升0.94%）。消融研究表明，虽然MTL在略微牺牲性能的情况下提高了效率，但RAG显著提高了整体准确性。结论是，本研究提出了一种新颖的RAMIE框架，该框架在从临床记录中提取DS相关数据的多任务信息抽取方面表现出显著的改进。我们的框架有可能应用于其他领域。
🔬 方法详解
问题定义：论文旨在解决从临床记录中抽取膳食补充剂（DS）相关信息的任务，包括命名实体识别（NER）、关系抽取（RE）、三元组抽取（TE）和用法分类（UC）。现有方法可能无法有效利用不同任务之间的关联性，并且缺乏外部知识的补充，导致信息抽取效果不佳。
核心思路：论文的核心思路是利用多任务学习（MTL）来共享模型参数，提高训练效率和泛化能力。同时，引入检索增强生成（RAG）技术，从训练集中检索相似的例子，为模型提供额外的上下文信息，从而提高抽取准确率。通过指令微调，使LLM更好地适应特定任务。
技术框架：RAMIE框架包含三个主要组成部分：1) 指令微调模块：使用特定任务的提示对LLM进行微调，使其适应不同的信息抽取任务。2) 多任务学习模块：同时训练LLM执行多个信息抽取任务，共享模型参数，提高训练效率。3) 检索增强生成模块：在生成答案之前，从训练集中检索与输入最相似的例子，并将这些例子作为额外的上下文信息输入到LLM中。
关键创新：RAMIE框架的关键创新在于将多任务学习和检索增强生成技术相结合，充分利用了不同任务之间的关联性和外部知识，从而提高了信息抽取性能。此外，该框架还采用了指令微调技术，使LLM更好地适应特定任务。
关键设计：在RAG模块中，使用了余弦相似度来衡量输入和训练集例子之间的相似度。检索到的top-k个相似例子被拼接成一个上下文，与输入一起输入到LLM中。损失函数为交叉熵损失，用于优化模型参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RAMIE框架在NER、RE、TE和UC等任务上均取得了显著的性能提升。例如，Llama2-13B在NER任务上取得了87.39的F1分数（提升3.51%），Llama2-7B在TE任务上取得了79.45的F1分数（提升14.26%）。消融研究表明，RAG对整体准确率的提升贡献显著。
🎯 应用场景
该研究成果可应用于医疗健康领域，例如辅助医生从临床记录中提取膳食补充剂相关信息，为患者提供更精准的用药指导。此外，该框架还可扩展到其他领域，例如金融、法律等，用于从文本数据中提取关键信息，提高工作效率。
📄 摘要（原文）
\textbf{Objective:} We aimed to develop an advanced multi-task large language model (LLM) framework to extract multiple types of information about dietary supplements (DS) from clinical records. \textbf{Methods:} We used four core DS information extraction tasks - namely, named entity recognition (NER: 2,949 clinical sentences), relation extraction (RE: 4,892 sentences), triple extraction (TE: 2,949 sentences), and usage classification (UC: 2,460 sentences) as our multitasks. We introduced a novel Retrieval-Augmented Multi-task Information Extraction (RAMIE) Framework, including: 1) employed instruction fine-tuning techniques with task-specific prompts, 2) trained LLMs for multiple tasks with improved storage efficiency and lower training costs, and 3) incorporated retrieval augmentation generation (RAG) techniques by retrieving similar examples from the training set. We compared RAMIE's performance to LLMs with instruction fine-tuning alone and conducted an ablation study to assess the contributions of multi-task learning and RAG to improved multitasking performance. \textbf{Results:} With the aid of the RAMIE framework, Llama2-13B achieved an F1 score of 87.39 (3.51\% improvement) on the NER task and demonstrated outstanding performance on the RE task with an F1 score of 93.74 (1.15\% improvement). For the TE task, Llama2-7B scored 79.45 (14.26\% improvement), and MedAlpaca-7B achieved the highest F1 score of 93.45 (0.94\% improvement) on the UC task. The ablation study revealed that while MTL increased efficiency with a slight trade-off in performance, RAG significantly boosted overall accuracy. \textbf{Conclusion:} This study presents a novel RAMIE framework that demonstrates substantial improvements in multi-task information extraction for DS-related data from clinical records. Our framework can potentially be applied to other domains.