Knowledge-Augmented Language Models Interpreting Structured Chest X-Ray Findings

📄 arXiv: 2505.01711v1 📥 PDF

作者: Alexander Davis, Rafael Souza, Jia-Hao Lim

分类: cs.CV

发布日期: 2025-05-03

💡 一句话要点

CXR-TextInter：利用知识增强的语言模型解释结构化胸部X光片

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胸部X光片判读 大型语言模型 知识增强 医学图像分析 结构化文本表示

📋 核心要点

  1. 现有方法难以充分利用大型语言模型(LLM)处理胸部X光片(CXR)判读任务，缺乏有效的视觉信息结构化方法。
  2. CXR-TextInter通过结构化文本表示图像内容，并集成医学知识模块，增强LLM的临床推理能力，实现更准确的CXR判读。
  3. 实验表明，CXR-TextInter在病理检测、报告生成和视觉问答方面超越了现有模型，且临床医生更认可其输出质量。

📝 摘要（中文）

胸部X光片(CXR)的自动判读是一项关键任务，具有显著改善临床工作流程和患者护理的潜力。尽管多模态基础模型取得了进展，但如何有效地利用大型语言模型(LLM)来完成这项视觉任务仍有待探索。本文提出了CXR-TextInter，一种新颖的框架，通过利用上游图像分析管道生成的图像内容的丰富结构化文本表示，将强大的以文本为中心的LLM重新用于CXR判读。我们通过集成的医学知识模块来增强这种以LLM为中心的方法，以提高临床推理能力。为了方便训练和评估，我们开发了MediInstruct-CXR数据集，其中包含结构化的图像表示以及多样化的、临床相关的指令-响应示例，以及CXR-ClinEval基准，用于对各种判读任务进行全面评估。在CXR-ClinEval上的大量实验表明，CXR-TextInter在病理检测、报告生成和视觉问答方面取得了最先进的定量性能，超过了现有的多模态基础模型。消融研究证实了知识集成模块的关键贡献。此外，由委员会认证的放射科医生进行的盲法人工评估显示，他们更倾向于CXR-TextInter生成的临床质量输出。我们的工作验证了一种用于医学图像AI的替代范例，展示了在有效构建视觉信息和集成领域知识时，利用高级LLM能力的潜力。

🔬 方法详解

问题定义：论文旨在解决胸部X光片(CXR)自动判读问题。现有方法，特别是多模态模型，在有效利用大型语言模型(LLM)的强大能力方面存在不足，难以充分理解和利用CXR图像中的复杂信息。此外，缺乏对医学知识的有效整合，限制了模型的临床推理能力。

核心思路：论文的核心思路是将CXR图像转换为结构化的文本表示，然后利用大型语言模型(LLM)进行判读。通过这种方式，可以将LLM强大的文本处理能力应用于视觉任务，同时通过集成医学知识来增强模型的临床推理能力。这种方法避免了直接处理原始图像像素，而是专注于理解图像中包含的结构化信息。

技术框架：CXR-TextInter框架包含以下主要模块：1) 上游图像分析管道：负责将CXR图像转换为结构化的文本表示。2) 大型语言模型(LLM)：利用转换后的文本表示进行CXR判读，包括病理检测、报告生成和视觉问答。3) 医学知识模块：集成医学知识，增强LLM的临床推理能力。MediInstruct-CXR数据集用于训练和评估模型，CXR-ClinEval基准用于全面评估模型在各种判读任务中的性能。

关键创新：该论文的关键创新在于：1) 提出了一种将CXR图像转换为结构化文本表示的方法，使得LLM能够更好地理解和利用图像信息。2) 集成了医学知识模块，增强了LLM的临床推理能力。3) 构建了MediInstruct-CXR数据集和CXR-ClinEval基准，为CXR判读任务的训练和评估提供了支持。与现有方法相比，CXR-TextInter避免了直接处理原始图像像素，而是专注于理解图像中包含的结构化信息，并利用LLM强大的文本处理能力。

关键设计：论文的关键设计包括：1) 结构化文本表示的设计：如何有效地将CXR图像转换为结构化的文本表示，以保留图像中的关键信息。2) 医学知识模块的设计：如何有效地集成医学知识，以增强LLM的临床推理能力。3) MediInstruct-CXR数据集的设计：如何构建一个包含结构化图像表示和多样化的、临床相关的指令-响应示例的数据集，以支持模型的训练和评估。具体的参数设置、损失函数、网络结构等技术细节在论文中可能有所描述，但摘要中未提及。

🖼️ 关键图片

img_0

📊 实验亮点

CXR-TextInter在CXR-ClinEval基准测试中，在病理检测、报告生成和视觉问答等任务上均取得了state-of-the-art的性能，超越了现有的多模态基础模型。消融实验证明了知识集成模块的关键作用。此外，由委员会认证的放射科医生进行的盲法人工评估显示，他们更倾向于CXR-TextInter生成的临床质量输出，表明该模型在临床应用中具有更高的可靠性和实用性。

🎯 应用场景

CXR-TextInter具有广泛的应用前景，可用于辅助放射科医生进行胸部X光片的判读，提高诊断效率和准确性。该技术可应用于远程医疗、急诊科、基层医疗机构等场景，尤其是在放射科医生资源匮乏的地区，具有重要的应用价值。未来，该技术有望进一步发展，实现更智能化的医学图像分析和诊断。

📄 摘要（原文）

Automated interpretation of chest X-rays (CXR) is a critical task with the potential to significantly improve clinical workflow and patient care. While recent advances in multimodal foundation models have shown promise, effectively leveraging the full power of large language models (LLMs) for this visual task remains an underexplored area. This paper introduces CXR-TextInter, a novel framework that repurposes powerful text-centric LLMs for CXR interpretation by operating solely on a rich, structured textual representation of the image content, generated by an upstream image analysis pipeline. We augment this LLM-centric approach with an integrated medical knowledge module to enhance clinical reasoning. To facilitate training and evaluation, we developed the MediInstruct-CXR dataset, containing structured image representations paired with diverse, clinically relevant instruction-response examples, and the CXR-ClinEval benchmark for comprehensive assessment across various interpretation tasks. Extensive experiments on CXR-ClinEval demonstrate that CXR-TextInter achieves state-of-the-art quantitative performance across pathology detection, report generation, and visual question answering, surpassing existing multimodal foundation models. Ablation studies confirm the critical contribution of the knowledge integration module. Furthermore, blinded human evaluation by board-certified radiologists shows a significant preference for the clinical quality of outputs generated by CXR-TextInter. Our work validates an alternative paradigm for medical image AI, showcasing the potential of harnessing advanced LLM capabilities when visual information is effectively structured and domain knowledge is integrated.