Automated Spinal MRI Labelling from Reports Using a Large Language Model
作者: Robin Y. Park, Rhydian Windsor, Amir Jamaludin, Andrew Zisserman
分类: eess.IV, cs.CL, cs.CV
发布日期: 2024-10-22
备注: Accepted to Medical Image Computing and Computer Assisted Intervention (MICCAI 2024, Spotlight). 11 pages plus appendix
期刊: vol 15005, 2024, pp 101-111
DOI: 10.1007/978-3-031-72086-4_10
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于大型语言模型的脊柱MRI报告自动标注流程，用于辅助诊断。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脊柱MRI 自动标注 大型语言模型 放射学报告 医学影像分析
📋 核心要点
- 放射学报告包含大量信息，但人工标注耗时耗力，阻碍了医学影像分析模型的训练。
- 利用大型语言模型理解报告文本，自动提取病症标签，从而降低标注成本并提高效率。
- 实验表明，自动标注训练的模型性能与人工标注模型相当，验证了该方法的可行性。
📝 摘要（中文）
本文提出了一种通用的流程，利用大型语言模型自动从放射学报告中提取标签。该方法在脊柱MRI报告上进行了验证，针对五种不同的病症：脊柱癌、椎管狭窄、脊椎滑脱、马尾神经受压和椎间盘突出。使用开源模型，该方法在保留的报告集上达到了与GPT-4相当甚至更好的性能。此外，研究表明提取的标签可用于训练图像模型，以分类相应MR扫描中识别出的病症。所有使用自动标注训练的分类器都达到了与使用临床医生手动标注的扫描训练的模型相当的性能。代码已开源。
🔬 方法详解
问题定义：论文旨在解决脊柱MRI图像分析中，人工标注报告耗时费力的问题。现有方法依赖人工阅读报告并提取标签，效率低下且容易出错，限制了大规模数据集的构建和深度学习模型的训练。
核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解能力，自动从放射科医生撰写的报告中提取结构化的标签信息。通过训练LLM理解报告中的医学术语和上下文，实现对病症的自动识别和标注。
技术框架：该方法包含以下几个主要步骤：1) 数据收集：收集脊柱MRI报告及其对应的图像数据。2) LLM选择与微调：选择合适的LLM，并使用少量人工标注数据进行微调，使其适应医学报告的特点。3) 标签提取：使用微调后的LLM从报告文本中提取病症标签。4) 模型训练与评估：使用自动标注的数据训练图像分类模型，并与人工标注数据训练的模型进行性能比较。
关键创新：该方法的主要创新在于利用开源LLM在医学影像报告自动标注任务上达到了与GPT-4相当甚至更好的性能。这表明，通过合适的微调和优化，开源LLM可以有效地应用于医学领域，降低了对昂贵商业API的依赖。
关键设计：论文中，LLM的选择和微调是关键。具体来说，需要选择具有较强自然语言理解能力的LLM，并使用包含医学术语和报告结构的标注数据进行微调。此外，标签提取的策略也需要仔细设计，以确保提取的标签准确且完整。论文开源了代码，方便其他研究者复现和改进。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用开源LLM进行自动标注，在五种脊柱疾病的诊断上，模型性能与GPT-4相当甚至更好。更重要的是，使用自动标注数据训练的图像分类模型，其性能与使用人工标注数据训练的模型性能相当，验证了该方法的有效性。
🎯 应用场景
该研究成果可应用于医学影像辅助诊断系统，帮助放射科医生快速准确地识别脊柱MRI图像中的病灶，提高诊断效率和准确性。此外，该方法还可以扩展到其他医学影像模态和疾病的报告标注，为医学影像分析提供更强大的数据支持。
📄 摘要（原文）
We propose a general pipeline to automate the extraction of labels from radiology reports using large language models, which we validate on spinal MRI reports. The efficacy of our labelling method is measured on five distinct conditions: spinal cancer, stenosis, spondylolisthesis, cauda equina compression and herniation. Using open-source models, our method equals or surpasses GPT-4 on a held-out set of reports. Furthermore, we show that the extracted labels can be used to train imaging models to classify the identified conditions in the accompanying MR scans. All classifiers trained using automated labels achieve comparable performance to models trained using scans manually annotated by clinicians. Code can be found at https://github.com/robinyjpark/AutoLabelClassifier.