Knowledge-Augmented Language Models Interpreting Structured Chest X-Ray Findings

📄 arXiv: 2505.01711v1 📥 PDF

作者: Alexander Davis, Rafael Souza, Jia-Hao Lim

分类: cs.CV

发布日期: 2025-05-03

💡 一句话要点

提出CXR-TextInter以解决胸部X光图像解读问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胸部X光解读 大型语言模型 医学知识模块 多模态模型 临床推理 自动化医疗

📋 核心要点

  1. 现有的多模态模型在胸部X光图像解读中未能充分利用大型语言模型的潜力，导致解读效果有限。
  2. CXR-TextInter框架通过结构化文本表示和医学知识模块，重新定义了胸部X光图像的解读方式，提升了临床推理能力。
  3. 在CXR-ClinEval基准上，CXR-TextInter在多个解读任务中实现了最先进的性能，显著优于现有模型。

📝 摘要（中文）

自动解读胸部X光图像（CXR）是提升临床工作流程和患者护理的重要任务。尽管多模态基础模型的进展令人鼓舞，但如何有效利用大型语言模型（LLMs）进行视觉任务仍然是一个未被充分探索的领域。本文提出了CXR-TextInter框架，通过利用结构化文本表示来重新利用强大的文本中心LLMs进行CXR解读，并集成医学知识模块以增强临床推理。为便于训练和评估，我们开发了MediInstruct-CXR数据集，并建立了CXR-ClinEval基准进行全面评估。实验结果表明，CXR-TextInter在病理检测、报告生成和视觉问答等任务上均超越了现有的多模态基础模型，且经过认证的放射科医师的盲评显示对其临床输出质量的显著偏好。

🔬 方法详解

问题定义：本文旨在解决胸部X光图像解读中现有方法未能充分利用大型语言模型的问题，导致解读效果不佳。

核心思路：CXR-TextInter框架通过结构化文本表示来重新利用文本中心的LLMs，并集成医学知识模块，以增强模型的临床推理能力。

技术框架：该框架包括一个图像分析管道生成结构化文本表示，随后利用LLM进行解读，并通过医学知识模块进行增强。整体流程包括数据预处理、模型训练和评估。

关键创新：最重要的创新在于将医学知识模块与LLM结合，形成了一种新的解读方式，与传统的多模态模型相比，能够更好地处理结构化信息。

关键设计：在模型设计中，采用了特定的损失函数以优化解读质量，并在网络结构上进行了调整，以适应医学领域的特殊需求。具体参数设置和训练策略在实验部分进行了详细描述。

📊 实验亮点

CXR-TextInter在CXR-ClinEval基准上实现了在病理检测、报告生成和视觉问答等任务上的最先进性能，超越了现有多模态基础模型，具体性能提升幅度未知。此外，经过认证的放射科医师的盲评显示对其输出质量的显著偏好，进一步验证了其临床应用价值。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持系统和远程医疗等。通过提高胸部X光图像的解读准确性，CXR-TextInter能够显著提升临床工作效率和患者护理质量，未来可能对医疗行业产生深远影响。

📄 摘要（原文）

Automated interpretation of chest X-rays (CXR) is a critical task with the potential to significantly improve clinical workflow and patient care. While recent advances in multimodal foundation models have shown promise, effectively leveraging the full power of large language models (LLMs) for this visual task remains an underexplored area. This paper introduces CXR-TextInter, a novel framework that repurposes powerful text-centric LLMs for CXR interpretation by operating solely on a rich, structured textual representation of the image content, generated by an upstream image analysis pipeline. We augment this LLM-centric approach with an integrated medical knowledge module to enhance clinical reasoning. To facilitate training and evaluation, we developed the MediInstruct-CXR dataset, containing structured image representations paired with diverse, clinically relevant instruction-response examples, and the CXR-ClinEval benchmark for comprehensive assessment across various interpretation tasks. Extensive experiments on CXR-ClinEval demonstrate that CXR-TextInter achieves state-of-the-art quantitative performance across pathology detection, report generation, and visual question answering, surpassing existing multimodal foundation models. Ablation studies confirm the critical contribution of the knowledge integration module. Furthermore, blinded human evaluation by board-certified radiologists shows a significant preference for the clinical quality of outputs generated by CXR-TextInter. Our work validates an alternative paradigm for medical image AI, showcasing the potential of harnessing advanced LLM capabilities when visual information is effectively structured and domain knowledge is integrated.