OrthoDoc: Multimodal Large Language Model for Assisting Diagnosis in Computed Tomography

📄 arXiv: 2409.09052v1 📥 PDF

作者: Youzhu Jin, Yichen Zhang

分类: eess.IV, cs.AI, cs.CV

发布日期: 2024-08-30

备注: 8 pages, 1 figure

💡 一句话要点

OrthoDoc：用于辅助CT诊断的多模态大语言模型，超越GPT-4。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 CT图像诊断 医学图像处理 检索增强生成 骨科疾病诊断

📋 核心要点

  1. 通用LLM难以准确解释CT图像的复杂纹理特征，限制了其在诊断辅助中的应用。
  2. OrthoDoc通过在大量CT图像和诊断报告上训练，并结合RAG模块，提升了模型对医学知识的理解和推理能力。
  3. 实验表明，OrthoDoc在CT诊断方面优于GPT-4等商业模型，尤其在骨科常见疾病的诊断中表现突出。

📝 摘要（中文）

本文提出了一种专为CT诊断设计的多模态大语言模型OrthoDoc。针对通用LLM在CT图像复杂纹理特征解释方面的挑战，OrthoDoc模型在包含12万张CT图像和诊断报告的数据集上进行训练，并集成了一个检索增强生成（RAG）模块，该模块基于广泛的医学文献、教科书和解释性数据，有效缓解了模型幻觉。OrthoDoc不仅能够处理复杂的CT图像，还能存储、理解和推理医学知识和语言。实验结果表明，OrthoDoc在诊断能力和准确性方面优于包括GPT-4在内的商业模型，尤其是在骨折、关节炎和肿瘤等常见骨科疾病的诊断中表现出色，并且在处理罕见和复杂病例时表现出强大的泛化性和稳定性。

🔬 方法详解

问题定义：论文旨在解决通用大语言模型在CT图像诊断辅助应用中，由于CT图像纹理复杂、医学知识缺乏而导致的诊断准确率低的问题。现有方法难以有效处理CT图像的复杂特征，并且容易产生幻觉，影响诊断结果的可靠性。

核心思路：论文的核心思路是构建一个专门针对CT诊断的多模态大语言模型OrthoDoc，通过大规模的CT图像和诊断报告训练，以及检索增强生成（RAG）模块的引入，使模型能够更好地理解CT图像的复杂特征，并利用医学知识进行推理，从而提高诊断的准确性和可靠性。

技术框架：OrthoDoc的整体框架包含图像编码器、文本编码器、多模态融合模块和RAG模块。图像编码器负责提取CT图像的视觉特征，文本编码器负责处理诊断报告和医学知识。多模态融合模块将视觉特征和文本特征进行融合，RAG模块则根据输入信息检索相关的医学知识，辅助模型进行推理和生成诊断结果。

关键创新：OrthoDoc的关键创新在于其针对CT诊断的定制化设计和RAG模块的引入。通过大规模的CT图像和诊断报告训练，模型能够更好地理解CT图像的复杂特征。RAG模块的引入则有效缓解了模型幻觉，提高了诊断结果的可靠性。

关键设计：论文中没有详细说明具体的参数设置、损失函数和网络结构等技术细节。但RAG模块的设计是关键，它需要能够有效地从医学文献、教科书和解释性数据中检索相关知识，并将其融入到模型的推理过程中。RAG模块的检索策略和知识表示方式对模型的性能至关重要（具体实现未知）。

🖼️ 关键图片

fig_0

📊 实验亮点

OrthoDoc在CT诊断任务中超越了GPT-4等商业模型，证明了其在医学图像理解和诊断方面的优越性。尤其是在骨折、关节炎和肿瘤等常见骨科疾病的诊断中表现出色，同时在处理罕见和复杂病例时也展现出强大的泛化能力和稳定性。具体的性能数据和提升幅度在摘要中有所提及，但未给出详细数值。

🎯 应用场景

OrthoDoc可应用于临床CT图像的辅助诊断，帮助医生更准确、高效地进行疾病诊断，尤其是在骨科疾病的诊断中具有潜力。该研究有助于提升医疗诊断的智能化水平，改善医患沟通，并可能在远程医疗和医学教育等领域发挥重要作用。

📄 摘要（原文）

Multimodal large language models (MLLMs) have achieved significant success in the general field of image processing. Their emerging task generalization and freeform conversational capabilities can greatly facilitate medical diagnostic assistance, helping patients better understand their conditions and enhancing doctor-patient trust. Computed Tomography (CT) is a non-invasive imaging technique used to capture the internal mechanisms of a patient's condition and is widely utilized. However, in past research, the complex textural features of this imaging data have made accurate interpretation by algorithms challenging, impeding the performance of general LLMs in diagnostic assistance. To address this, we developed OrthoDoc, a MLLM designed for CT diagnostics. OrthoDoc is trained on 120,000 CT images and diagnostic reports and includes a Retrieval-Augmented Generation (RAG) module capable of effectively mitigating model hallucinations. This module is informed by extensive medical literature, textbooks, and explanatory data. Thus, OrthoDoc not only processes complex CT images but also stores, understands, and reasons over medical knowledge and language. In extensive experiments, OrthoDoc outperforms commercial models led by GPT-4, demonstrating superior diagnostic capabilities and accuracy. Specifically, OrthoDoc significantly surpasses existing models in the diagnosis of common orthopedic conditions such as fractures, arthritis, and tumors. Additionally, OrthoDoc exhibits robust generalization and stability when handling rare and complex cases.