SM70: A Large Language Model for Medical Devices

📄 arXiv: 2312.06974v1 📥 PDF

作者: Anubhav Bhatti, Surajsinh Parmar, San Lee

分类: cs.CL, cs.AI

发布日期: 2023-12-12

备注: 5 Pages, Technical Report

💡 一句话要点

SpassMed公司发布SM70：一款面向医疗设备的700亿参数大语言模型，提升医疗问答准确性和安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗设备 大语言模型 Llama2 QLoRA 医学问答 临床决策支持 医学信息检索 MedAlpaca

📋 核心要点

  1. 现有医疗领域大语言模型在处理专业问题时，准确性和安全性仍有提升空间，尤其是在临床决策支持方面。
  2. SM70通过在Llama2 70B基础上，利用MedAlpaca数据集进行QLoRA微调，专注于提升医疗问答的准确性和安全性。
  3. 实验结果表明，SM70在MEDQA、PUBMEDQA和USMLE等数据集上优于多个基线模型，展现了其在医疗领域的潜力。

📝 摘要（中文）

本文介绍了SM70，一个拥有700亿参数的大语言模型，专为SpassMed公司旗下品牌“JEE1”（意为“生命”）的医疗设备设计。该模型旨在为医疗领域的问题提供更准确、更安全的回答。SM70基于Llama2 70B开源模型，并使用QLoRA技术，在约80万条来自公开数据集MedAlpaca的数据上进行了微调。通过MEDQA - USMLE、PUBMEDQA和USMLE三个基准数据集进行评估，SM70的性能与Llama2 70B、Clinical Camel 70 (CC70)、GPT 3.5、GPT 4和Med-Palm等其他知名LLM进行了对比。结果表明，SM70在这些数据集上优于多个已建立的模型，展示了其处理各种医疗查询的能力，从基于PubMed摘要的事实性问题到复杂的临床决策场景。SM70在USMLE和PUBMEDQA数据集上的出色表现表明其有潜力成为临床决策支持和医学信息检索的有效工具。尽管结果很有希望，但该论文也承认SM70在某些方面落后于最先进的模型GPT 4，因此强调需要进一步开发，特别是在需要广泛医学知识和复杂推理的任务中。

🔬 方法详解

问题定义：论文旨在解决医疗设备领域中，现有大语言模型在处理医学问题时准确性和安全性不足的问题。现有方法在处理复杂的临床决策场景和医学信息检索任务时，可能无法提供足够可靠的答案，存在潜在的风险。

核心思路：论文的核心思路是利用开源的Llama2 70B模型作为基础，并使用QLoRA技术在医疗领域的数据集上进行微调，从而使模型能够更好地理解和处理医学相关的问题。通过专注于医疗领域的知识，提高模型在特定任务上的性能。

技术框架：SM70的技术框架主要包括以下几个阶段：1) 选择Llama2 70B作为预训练模型；2) 收集并清洗医疗领域的数据集MedAlpaca；3) 使用QLoRA技术对Llama2 70B进行微调，使其适应医疗领域的知识；4) 在MEDQA、PUBMEDQA和USMLE等基准数据集上评估模型的性能；5) 将SM70的性能与其他知名LLM进行对比。

关键创新：该论文的关键创新在于针对医疗设备领域，对一个大型语言模型进行了专门的微调。虽然使用了现有的Llama2和QLoRA技术，但针对特定领域的数据集进行优化，使得模型在医疗领域的表现优于通用模型。

关键设计：SM70的关键设计包括：1) 选择Llama2 70B作为基础模型，因为它具有强大的通用语言能力；2) 使用QLoRA技术进行微调，以降低计算成本和内存需求；3) 使用MedAlpaca数据集进行微调，该数据集包含丰富的医疗知识；4) 在多个基准数据集上进行评估，以全面评估模型的性能。

📊 实验亮点

SM70在MEDQA、PUBMEDQA和USMLE等数据集上取得了显著的性能提升，优于Llama2 70B、Clinical Camel 70等模型。尤其在USMLE和PUBMEDQA数据集上的表现突出，表明其在处理医学知识和临床推理方面具有较强的能力。虽然与GPT 4相比仍有差距，但SM70在特定医疗任务上的表现已接近甚至超过了一些通用LLM。

🎯 应用场景

SM70具有广泛的应用前景，可用于临床决策支持系统，辅助医生进行诊断和治疗方案制定。同时，它还可以应用于医学信息检索，帮助医护人员快速查找相关文献和指南。此外，SM70还可以集成到医疗设备中，为患者提供个性化的健康咨询和指导，从而提升医疗服务的质量和效率。

📄 摘要（原文）

We are introducing SM70, a 70 billion-parameter Large Language Model that is specifically designed for SpassMed's medical devices under the brand name 'JEE1' (pronounced as G1 and means 'Life'). This large language model provides more accurate and safe responses to medical-domain questions. To fine-tune SM70, we used around 800K data entries from the publicly available dataset MedAlpaca. The Llama2 70B open-sourced model served as the foundation for SM70, and we employed the QLoRA technique for fine-tuning. The evaluation is conducted across three benchmark datasets - MEDQA - USMLE, PUBMEDQA, and USMLE - each representing a unique aspect of medical knowledge and reasoning. The performance of SM70 is contrasted with other notable LLMs, including Llama2 70B, Clinical Camel 70 (CC70), GPT 3.5, GPT 4, and Med-Palm, to provide a comparative understanding of its capabilities within the medical domain. Our results indicate that SM70 outperforms several established models in these datasets, showcasing its proficiency in handling a range of medical queries, from fact-based questions derived from PubMed abstracts to complex clinical decision-making scenarios. The robust performance of SM70, particularly in the USMLE and PUBMEDQA datasets, suggests its potential as an effective tool in clinical decision support and medical information retrieval. Despite its promising results, the paper also acknowledges the areas where SM70 lags behind the most advanced model, GPT 4, thereby highlighting the need for further development, especially in tasks demanding extensive medical knowledge and intricate reasoning.