Utility of Multimodal Large Language Models in Analyzing Chest X-ray with Incomplete Contextual Information

📄 arXiv: 2410.07111v1 📥 PDF

作者: Choonghan Kim, Seonhee Cho, Joo Heung Yoon

分类: eess.IV, cs.CL, cs.CV

发布日期: 2024-09-20

💡 一句话要点

多模态大语言模型提升不完整胸部X光报告解读的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大语言模型 胸部X光 放射学报告 临床决策支持 医学影像分析 信息融合

📋 核心要点

  1. 现有大语言模型在处理不完整的放射学报告时，性能会显著下降，影响临床决策支持的可靠性。
  2. 该研究探索了多模态大语言模型，通过融合文本报告和胸部X光图像，来提升模型在信息不完整情况下的性能。
  3. 实验结果表明，多模态模型（MedFlamingo和IDEFICS）在不完整文本情况下，性能显著提升，甚至超越了仅文本模型。

📝 摘要（中文）

背景：大语言模型（LLMs）在临床环境中应用日益广泛，但当放射学报告不完整时，其性能会受到影响。本研究旨在测试多模态LLMs（利用文本和图像）是否能提高胸部X光报告的准确性和理解能力，从而使其更有效地支持临床决策。目的：评估LLMs在使用不完整数据和多模态数据生成准确胸部X光报告印象时的鲁棒性。方法：使用了MIMIC-CXR数据库中的300个放射图像-报告对。在文本和多模态格式下测试了三个LLMs（OpenFlamingo、MedFlamingo、IDEFICS）。首先从完整文本生成印象，然后通过移除20%、50%和80%的文本进行测试。使用胸部X光片评估了添加图像的影响，并通过统计分析比较了模型性能。结果：仅文本模型（OpenFlamingo、MedFlamingo、IDEFICS）的性能相似（ROUGE-L：0.39 vs. 0.21 vs. 0.21；F1RadGraph：0.34 vs. 0.17 vs. 0.17；F1CheXbert：0.53 vs. 0.40 vs. 0.40），OpenFlamingo在完整文本上表现最佳（p<0.001）。所有模型的性能都随着数据不完整而下降。然而，添加图像显著提高了MedFlamingo和IDEFICS的性能（p<0.001），即使在文本不完整的情况下，也达到或超过了OpenFlamingo。结论：LLMs在放射学数据不完整时可能会产生低质量的输出，但多模态LLMs可以提高可靠性并支持临床决策。

🔬 方法详解

问题定义：该论文旨在解决大语言模型在处理不完整的胸部X光放射报告时，性能下降的问题。现有方法依赖于完整的文本信息，当报告缺失关键信息时，模型的诊断准确性会受到严重影响，这限制了其在临床决策支持中的应用。

核心思路：论文的核心思路是利用多模态信息融合，即同时输入文本报告和胸部X光图像，来弥补文本信息不完整带来的缺陷。通过图像信息，模型可以推断出缺失的文本信息，从而提高诊断的准确性和可靠性。

技术框架：整体框架包括数据准备、模型选择、训练和评估四个主要阶段。首先，从MIMIC-CXR数据库中选取图像-报告对，并人为地删除部分文本信息，模拟不完整报告的场景。然后，选择OpenFlamingo、MedFlamingo和IDEFICS三种大语言模型，分别进行文本输入和多模态输入（文本+图像）的训练。最后，使用ROUGE-L、F1RadGraph和F1CheXbert三种指标评估模型的性能。

关键创新：该研究的关键创新在于验证了多模态大语言模型在处理不完整放射报告时的有效性。通过实验证明，即使在文本信息缺失的情况下，多模态模型依然能够利用图像信息进行准确的诊断，这为临床决策支持提供了更可靠的工具。

关键设计：实验中，文本信息的缺失比例设置为20%、50%和80%，以模拟不同程度的信息不完整情况。图像输入采用原始的胸部X光图像。模型训练采用标准的交叉熵损失函数。性能评估指标包括ROUGE-L（评估文本生成的质量）、F1RadGraph（评估放射学概念的提取）和F1CheXbert（评估诊断的准确性）。

📊 实验亮点

实验结果表明，在完整文本信息下，OpenFlamingo表现最佳（ROUGE-L: 0.39, F1RadGraph: 0.34, F1CheXbert: 0.53）。然而，当文本信息不完整时，添加图像显著提升了MedFlamingo和IDEFICS的性能（p<0.001），使其性能达到甚至超过了OpenFlamingo。例如，在文本信息缺失80%的情况下，多模态MedFlamingo的性能显著优于仅文本的OpenFlamingo。

🎯 应用场景

该研究成果可应用于临床决策支持系统，辅助医生进行胸部X光片的诊断。尤其是在放射科医生工作负荷大、报告信息不完整或缺失的情况下，多模态大语言模型可以提供更准确、可靠的诊断建议，提高诊断效率和准确性，减少误诊漏诊的风险。未来，该技术有望推广到其他医学影像领域，例如CT、MRI等。

📄 摘要（原文）

Background: Large language models (LLMs) are gaining use in clinical settings, but their performance can suffer with incomplete radiology reports. We tested whether multimodal LLMs (using text and images) could improve accuracy and understanding in chest radiography reports, making them more effective for clinical decision support. Purpose: To assess the robustness of LLMs in generating accurate impressions from chest radiography reports using both incomplete data and multimodal data. Material and Methods: We used 300 radiology image-report pairs from the MIMIC-CXR database. Three LLMs (OpenFlamingo, MedFlamingo, IDEFICS) were tested in both text-only and multimodal formats. Impressions were first generated from the full text, then tested by removing 20%, 50%, and 80% of the text. The impact of adding images was evaluated using chest x-rays, and model performance was compared using three metrics with statistical analysis. Results: The text-only models (OpenFlamingo, MedFlamingo, IDEFICS) had similar performance (ROUGE-L: 0.39 vs. 0.21 vs. 0.21; F1RadGraph: 0.34 vs. 0.17 vs. 0.17; F1CheXbert: 0.53 vs. 0.40 vs. 0.40), with OpenFlamingo performing best on complete text (p<0.001). Performance declined with incomplete data across all models. However, adding images significantly boosted the performance of MedFlamingo and IDEFICS (p<0.001), equaling or surpassing OpenFlamingo, even with incomplete text. Conclusion: LLMs may produce low-quality outputs with incomplete radiology data, but multimodal LLMs can improve reliability and support clinical decision-making. Keywords: Large language model; multimodal; semantic analysis; Chest Radiography; Clinical Decision Support;