M-QALM: A Benchmark to Assess Clinical Reading Comprehension and Knowledge Recall in Large Language Models via Question Answering
作者: Anand Subramanian, Viktor Schlegel, Abhinav Ramesh Kashyap, Thanh-Tung Nguyen, Vijay Prakash Dwivedi, Stefan Winkler
分类: cs.CL
发布日期: 2024-06-06
备注: Accepted at ACL 2024 (Findings)
💡 一句话要点
M-QALM：构建临床阅读理解与知识回忆问答基准，评估大型语言模型能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 临床阅读理解 知识回忆 问答基准 医学人工智能
📋 核心要点
- 现有大型语言模型在临床医学领域应用缺乏对其知识回忆和整合能力的充分评估。
- 论文提出M-QALM基准，通过问答形式评估LLM在临床阅读理解和知识回忆方面的能力。
- 实验结果表明，指令调优能有效提升模型性能，领域自适应微调在特定任务上表现良好。
📝 摘要（中文）
针对大型语言模型（LLM）在医疗保健等高风险领域中的应用研究，本文旨在评估LLM在临床和生物医学领域中回忆相关知识并将其与呈现的信息相结合的能力。为此，我们利用多项选择和抽象问答，对三个通用领域和三个专业生物医学子领域的22个数据集进行了大规模实证研究，评估了15个LLM的性能。通过对子领域、知识来源和模型架构的多方面分析，揭示了指令调优等提高回忆和理解能力的关键因素。研究表明，最近提出的领域自适应模型可能缺乏足够的知识，但直接在我们收集的医学知识数据集上进行微调显示出令人鼓舞的结果，甚至可以推广到未见过的专业子领域。我们通过面向技能的手动错误分析补充了定量结果，揭示了模型简单回忆必要知识与将其与呈现的上下文相结合的能力之间存在显著差距。为了促进该领域的研究和合作，我们与研究社区分享M-QALM、我们的资源、标准化方法和评估结果，以促进语言模型中临床知识表示学习的进一步发展。
🔬 方法详解
问题定义：现有的大型语言模型（LLM）在医疗领域的应用日益广泛，但缺乏对其临床阅读理解和知识回忆能力的系统性评估。现有方法难以区分模型是简单地记忆了知识，还是真正理解并能将其与上下文信息结合。这阻碍了LLM在医疗领域更可靠的应用。
核心思路：论文的核心思路是通过构建一个大规模的、多方面的问答基准（M-QALM），来系统性地评估LLM在临床和生物医学领域的知识回忆和阅读理解能力。通过分析模型在不同子领域、不同知识来源上的表现，以及进行错误分析，从而揭示影响模型性能的关键因素。
技术框架：M-QALM基准包含22个数据集，覆盖三个通用领域和三个专业生物医学子领域。评估方法包括多项选择题和抽象问答。研究使用了15个LLM，并从子领域、知识来源和模型架构等多个维度分析了它们的性能。此外，还进行了人工错误分析，以评估模型在知识回忆和知识整合方面的能力。
关键创新：该研究的关键创新在于构建了一个专门用于评估LLM在临床医学领域阅读理解和知识回忆能力的基准数据集M-QALM。该基准涵盖了多个子领域，并采用了多种评估方法，从而能够更全面地评估LLM的能力。此外，该研究还通过实验分析揭示了影响模型性能的关键因素，例如指令调优和领域自适应微调。
关键设计：M-QALM基准的数据集来源于多个公开的医学知识资源。问题类型包括多项选择题和抽象问答题，旨在评估模型对知识的理解和应用能力。在模型微调方面，研究者尝试了直接在M-QALM数据集上进行微调，并观察其在未见过的子领域上的泛化能力。评估指标包括准确率、F1值等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，指令调优能够显著提高LLM在M-QALM基准上的性能。此外，直接在M-QALM数据集上进行微调，即使是通用领域的LLM，也能在特定医学子领域上取得良好的效果，甚至可以泛化到未见过的子领域。手动错误分析揭示了模型在知识回忆和知识整合方面存在显著差距。
🎯 应用场景
该研究成果可应用于评估和改进大型语言模型在医疗领域的应用，例如辅助诊断、医学知识问答、临床决策支持等。通过M-QALM基准，可以更有效地评估LLM的临床阅读理解和知识回忆能力，从而推动LLM在医疗领域的更可靠、更安全的应用。未来，该基准可以扩展到更多医学子领域，并纳入更多评估指标。
📄 摘要（原文）
There is vivid research on adapting Large Language Models (LLMs) to perform a variety of tasks in high-stakes domains such as healthcare. Despite their popularity, there is a lack of understanding of the extent and contributing factors that allow LLMs to recall relevant knowledge and combine it with presented information in the clinical and biomedical domain: a fundamental pre-requisite for success on down-stream tasks. Addressing this gap, we use Multiple Choice and Abstractive Question Answering to conduct a large-scale empirical study on 22 datasets in three generalist and three specialist biomedical sub-domains. Our multifaceted analysis of the performance of 15 LLMs, further broken down by sub-domain, source of knowledge and model architecture, uncovers success factors such as instruction tuning that lead to improved recall and comprehension. We further show that while recently proposed domain-adapted models may lack adequate knowledge, directly fine-tuning on our collected medical knowledge datasets shows encouraging results, even generalising to unseen specialist sub-domains. We complement the quantitative results with a skill-oriented manual error analysis, which reveals a significant gap between the models' capabilities to simply recall necessary knowledge and to integrate it with the presented context. To foster research and collaboration in this field we share M-QALM, our resources, standardised methodology, and evaluation results, with the research community to facilitate further advancements in clinical knowledge representation learning within language models.