CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images

📄 arXiv: 2310.18341v3 📥 PDF

作者: Seowoo Lee, Jiwon Youn, Hyungjin Kim, Mansu Kim, Soon Ho Yoon

分类: cs.CL, cs.AI

发布日期: 2023-10-22 (更新: 2024-01-14)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CXR-LLAVA以解决胸部X光图像解读问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 胸部X光图像 图像解读 放射科 深度学习 开源模型 自动化报告

📋 核心要点

  1. 现有的胸部X光图像解读方法依赖于人工分析，效率低且易受主观因素影响。
  2. 本研究提出CXR-LLAVA，通过结合视觉变换器和大语言模型，自动解读胸部X光图像。
  3. 模型在多个测试集上表现优异，F1分数超过了现有的先进模型，显示出其在自主报告中的潜力。

📝 摘要（中文）

本研究旨在开发一个开源的多模态大语言模型CXR-LLAVA，用于解读胸部X光图像（CXR），利用最新的大语言模型（LLM）进展，力求复制人类放射科医生的图像解读能力。研究中收集了592,580幅公开可用的CXR，其中374,881幅带有放射异常标签，217,699幅提供了自由文本放射报告。模型在主要病理发现的诊断性能评估中表现出色，显示出多模态LLM在CXR解读中的巨大潜力，尽管也承认了其性能限制。

🔬 方法详解

问题定义：本研究旨在解决胸部X光图像解读的自动化问题，现有方法依赖人工分析，效率低且易受主观因素影响。

核心思路：论文的核心思路是结合视觉变换器与大语言模型，利用大规模数据集进行训练，以实现对胸部X光图像的自动解读。这样的设计旨在提高解读的准确性和效率。

技术框架：整体架构包括数据收集、视觉变换器预训练、与大语言模型的集成以及模型的微调。主要模块包括数据集构建、模型训练和性能评估。

关键创新：最重要的技术创新点在于将视觉变换器与大语言模型相结合，形成一个多模态模型，能够同时处理图像和文本信息，与现有方法相比，显著提升了解读能力。

关键设计：在模型训练中，使用了两个数据集，分别用于预训练和微调，采用了特定的损失函数以优化模型性能。模型的结构设计灵活，能够适应不同类型的输入数据。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

模型在MIMIC内部测试集上对六种主要病理发现的平均F1分数达到0.81，在外部测试集上对七种主要病理发现的F1分数为0.62，均超过了GPT-4-vision和Gemini-Pro-Vision的表现。在外部测试集的自主报告评估中，模型成功率为72.7%，接近真实报告的84.0%。

🎯 应用场景

CXR-LLAVA的潜在应用领域包括医院的放射科、远程医疗和医学教育等。该模型能够提高胸部X光图像解读的效率和准确性，减轻放射科医生的工作负担，并为临床决策提供支持。未来，该技术有望在更广泛的医学影像分析中得到应用，推动智能医疗的发展。

📄 摘要（原文）

Purpose: This study aimed to develop an open-source multimodal large language model (CXR-LLAVA) for interpreting chest X-ray images (CXRs), leveraging recent advances in large language models (LLMs) to potentially replicate the image interpretation skills of human radiologists Materials and Methods: For training, we collected 592,580 publicly available CXRs, of which 374,881 had labels for certain radiographic abnormalities (Dataset 1) and 217,699 provided free-text radiology reports (Dataset 2). After pre-training a vision transformer with Dataset 1, we integrated it with an LLM influenced by the LLAVA network. Then, the model was fine-tuned, primarily using Dataset 2. The model's diagnostic performance for major pathological findings was evaluated, along with the acceptability of radiologic reports by human radiologists, to gauge its potential for autonomous reporting. Results: The model demonstrated impressive performance in test sets, achieving an average F1 score of 0.81 for six major pathological findings in the MIMIC internal test set and 0.62 for seven major pathological findings in the external test set. The model's F1 scores surpassed those of GPT-4-vision and Gemini-Pro-Vision in both test sets. In human radiologist evaluations of the external test set, the model achieved a 72.7% success rate in autonomous reporting, slightly below the 84.0% rate of ground truth reports. Conclusion: This study highlights the significant potential of multimodal LLMs for CXR interpretation, while also acknowledging the performance limitations. Despite these challenges, we believe that making our model open-source will catalyze further research, expanding its effectiveness and applicability in various clinical contexts. CXR-LLAVA is available at https://github.com/ECOFRI/CXR_LLAVA.