CancerLLM: A Large Language Model in Cancer Domain
作者: Mingchen Li, Jiatan Huang, Jeremy Yeung, Anne Blaes, Steven Johnson, Hongfang Liu, Hua Xu, Rui Zhang
分类: cs.CL
发布日期: 2024-06-15 (更新: 2025-04-01)
备注: new version, add the RAG version of cancerLLM
💡 一句话要点
CancerLLM：针对癌症领域，参数为70亿的专用大型语言模型，在表型识别和诊断方面表现出色。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 癌症诊断 大型语言模型 医学自然语言处理 表型提取 临床研究
📋 核心要点
- 现有医学LLM在癌症表型识别和诊断方面存在不足，且计算成本高昂，难以在医疗系统中应用。
- CancerLLM采用Mistral架构，参数量为70亿，通过在大量癌症相关文本数据上预训练和微调，提升性能。
- 实验结果表明，CancerLLM在癌症表型提取和诊断生成任务中均取得了SOTA结果，F1分数平均提升9.23%。
📝 摘要（中文）
医学大型语言模型（LLMs）在各种医学自然语言处理任务中表现出令人印象深刻的性能；然而，仍然缺乏专门为癌症领域的表型识别和诊断而设计的大型语言模型。此外，这些LLMs通常具有数十亿个参数，这使得医疗保健系统的计算成本很高。因此，在本研究中，我们提出了CancerLLM，一个具有70亿参数和Mistral风格架构的模型，该模型在近270万份临床笔记和超过51.5万份病理报告上进行了预训练，涵盖17种癌症类型，然后针对两个癌症相关任务进行了微调，包括癌症表型提取和癌症诊断生成。我们的评估表明，CancerLLM在表型提取方面实现了91.78%的F1分数，在诊断生成方面实现了86.81%的F1分数，达到了最先进的结果。它优于现有的LLMs，平均F1分数提高了9.23%。此外，CancerLLM在时间和GPU使用效率以及与其他LLMs相比的鲁棒性方面表现出了优势。我们证明了CancerLLM有潜力为推进癌症领域的临床研究和实践提供有效且稳健的解决方案。
🔬 方法详解
问题定义：论文旨在解决现有医学大型语言模型（LLMs）在癌症领域应用的不足。现有LLMs通常参数量巨大，计算成本高昂，难以在医疗系统中部署。此外，通用医学LLMs缺乏针对癌症表型识别和诊断的专门优化，导致性能受限。因此，需要开发一种计算效率高、性能优异的癌症专用LLM。
核心思路：论文的核心思路是构建一个参数量适中（70亿），但经过专门针对癌症领域数据进行预训练和微调的LLM。通过在大量临床笔记和病理报告上进行预训练，使模型能够学习到丰富的癌症相关知识。然后，通过在癌症表型提取和诊断生成等特定任务上进行微调，进一步提升模型在该领域的性能。
技术框架：CancerLLM的整体框架包括三个主要阶段：1) 预训练阶段：使用近270万份临床笔记和超过51.5万份病理报告，涵盖17种癌症类型，对模型进行预训练。2) 微调阶段：在两个癌症相关任务上对模型进行微调，包括癌症表型提取和癌症诊断生成。3) 评估阶段：使用标准数据集评估模型在各个任务上的性能，并与其他LLMs进行比较。
关键创新：该论文的关键创新在于构建了一个专门针对癌症领域的LLM，并在参数效率和性能之间取得了良好的平衡。与现有通用医学LLMs相比，CancerLLM在癌症相关任务上表现更优，且计算成本更低。此外，该模型采用了Mistral风格的架构，这是一种高效且易于扩展的Transformer架构。
关键设计：CancerLLM采用了Mistral风格的Transformer架构，参数量为70亿。预训练阶段使用了大量临床笔记和病理报告，涵盖多种癌症类型。微调阶段使用了癌症表型提取和诊断生成任务的数据集。损失函数和优化器等技术细节未在摘要中详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
CancerLLM在癌症表型提取任务中取得了91.78%的F1分数，在诊断生成任务中取得了86.81%的F1分数，均达到了SOTA水平。与现有LLMs相比，CancerLLM的平均F1分数提高了9.23%。此外，CancerLLM在时间和GPU使用效率以及鲁棒性方面也表现出了优势。
🎯 应用场景
CancerLLM具有广泛的应用前景，可用于辅助医生进行癌症诊断、治疗方案制定和临床研究。它可以自动从病历中提取关键信息，生成诊断报告，并预测患者的预后。此外，CancerLLM还可以用于药物研发和个性化医疗等领域，加速癌症研究的进展。
📄 摘要（原文）
Medical Large Language Models (LLMs) have demonstrated impressive performance on a wide variety of medical NLP tasks; however, there still lacks a LLM specifically designed for phenotyping identification and diagnosis in cancer domain. Moreover, these LLMs typically have several billions of parameters, making them computationally expensive for healthcare systems. Thus, in this study, we propose CancerLLM, a model with 7 billion parameters and a Mistral-style architecture, pre-trained on nearly 2.7M clinical notes and over 515K pathology reports covering 17 cancer types, followed by fine-tuning on two cancer-relevant tasks, including cancer phenotypes extraction and cancer diagnosis generation. Our evaluation demonstrated that the CancerLLM achieves state-of-the-art results with F1 score of 91.78% on phenotyping extraction and 86.81% on disganois generation. It outperformed existing LLMs, with an average F1 score improvement of 9.23%. Additionally, the CancerLLM demonstrated its efficiency on time and GPU usage, and robustness comparing with other LLMs. We demonstrated that CancerLLM can potentially provide an effective and robust solution to advance clinical research and practice in cancer domain