Classifying Cancer Stage with Open-Source Clinical Large Language Models

📄 arXiv: 2404.01589v1 📥 PDF

作者: Chia-Hsuan Chang, Mary M. Lucas, Grace Lu-Yao, Christopher C. Yang

分类: cs.CL, cs.AI

发布日期: 2024-04-02

备注: accepted in the IEEE International Conference on Healthcare Informatics (IEEE ICHI 2024)

DOI: 10.1109/ICHI61247.2024.00018.

💡 一句话要点

利用开源临床大语言模型进行癌症分期分类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 癌症分期 自然语言处理 开源模型 临床应用 病理报告 大语言模型 数据提取

📋 核心要点

  1. 现有的自然语言处理方法依赖于标注训练数据，准备过程繁琐且耗时，限制了其在临床应用中的广泛性。
  2. 本研究提出利用开源临床大语言模型，无需标注数据即可提取病理报告中的pTNM分期信息，降低了数据准备的成本。
  3. 实验结果显示，LLMs在转移（M）和淋巴结（N）分类上表现优异，尽管在肿瘤（T）分类上仍有待提升。

📝 摘要（中文）

癌症分期分类对于制定肿瘤患者的治疗和护理管理计划至关重要。现有的自然语言处理方法依赖于标注训练数据，准备过程繁琐。本研究展示了在没有任何标注训练数据的情况下，开源临床大语言模型能够从真实的病理报告中提取病理肿瘤-淋巴结-转移（pTNM）分期信息。实验结果表明，尽管在肿瘤（T）分类上表现不佳，但通过适当的提示策略，LLMs在转移（M）分类上可以达到可比的性能，并在淋巴结（N）分类上表现更佳。

🔬 方法详解

问题定义：本研究旨在解决癌症分期分类中对标注训练数据的依赖问题。现有方法需要大量的人工标注，导致数据准备过程繁琐且耗时。

核心思路：本研究的核心思路是利用开源临床大语言模型（LLMs），在没有标注数据的情况下，从真实的病理报告中自动提取pTNM分期信息，以提高效率和降低成本。

技术框架：整体架构包括数据收集、模型选择、提示策略设计和性能评估四个主要模块。首先收集真实的病理报告，然后选择适合的LLMs进行训练，设计有效的提示策略以优化模型输出，最后进行性能评估与对比。

关键创新：本研究的关键创新在于展示了LLMs在无标注数据情况下的有效性，尤其是在转移（M）和淋巴结（N）分类上取得了与传统方法相当的性能，突破了以往方法的局限。

关键设计：在模型训练中，采用了特定的提示策略以引导模型更好地理解和提取分期信息，此外，实验中还对比了LLMs与基于BERT的模型，验证了不同模型在不同分类任务上的表现差异。

📊 实验亮点

实验结果显示，LLMs在转移（M）分类上与基于BERT的模型性能相当，而在淋巴结（N）分类上表现更佳，提升幅度明显。尽管在肿瘤（T）分类上仍需改进，但整体表现为临床应用提供了新的可能性。

🎯 应用场景

该研究的潜在应用领域包括医院信息系统、电子健康记录分析和肿瘤管理平台。通过自动化提取癌症分期信息，可以显著提高临床决策的效率，降低人工成本，未来可能推动个性化医疗的发展。

📄 摘要（原文）

Cancer stage classification is important for making treatment and care management plans for oncology patients. Information on staging is often included in unstructured form in clinical, pathology, radiology and other free-text reports in the electronic health record system, requiring extensive work to parse and obtain. To facilitate the extraction of this information, previous NLP approaches rely on labeled training datasets, which are labor-intensive to prepare. In this study, we demonstrate that without any labeled training data, open-source clinical large language models (LLMs) can extract pathologic tumor-node-metastasis (pTNM) staging information from real-world pathology reports. Our experiments compare LLMs and a BERT-based model fine-tuned using the labeled data. Our findings suggest that while LLMs still exhibit subpar performance in Tumor (T) classification, with the appropriate adoption of prompting strategies, they can achieve comparable performance on Metastasis (M) classification and improved performance on Node (N) classification.