Incorporating Clinical Guidelines through Adapting Multi-modal Large Language Model for Prostate Cancer PI-RADS Scoring
作者: Tiantian Zhang, Manxi Lin, Hongda Guo, Xiaofan Zhang, Ka Fung Peter Chiu, Aasa Feragen, Qi Dou
分类: cs.CV
发布日期: 2024-05-14 (更新: 2024-07-10)
🔗 代码/项目: GITHUB
💡 一句话要点
提出一种基于多模态大语言模型的PI-RADS评分方法，融入临床指南提升前列腺癌诊断准确性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: PI-RADS评分 多模态大语言模型 临床指南 特征蒸馏 前列腺癌 医学影像分析 域适配
📋 核心要点
- 现有基于深度学习的PI-RADS评分方法缺乏对放射科医生常用的临床指南的有效利用，可能影响评分准确性。
- 该论文提出一种自适应多模态大语言模型的方法，无需额外标注和参数，即可将临床指南融入PI-RADS评分模型。
- 实验结果表明，该方法能够有效提升现有评分网络的性能，验证了将临床指南融入模型的可行性和有效性。
📝 摘要（中文）
本文提出了一种新颖的方法，通过调整多模态大语言模型（MLLM），将前列腺影像报告和数据系统（PI-RADS）临床指南（PICG）整合到PI-RADS评分模型中，无需额外的标注和网络参数。该方法旨在提高MRI图像诊断临床显著性前列腺癌的准确性。我们设计了一个两阶段微调过程，使最初在自然图像上训练的MLLM适应MRI图像，并有效整合PICG。第一阶段，我们开发了一个定制的域适配器层，用于处理3D MRI输入，并指导MLLM区分MRI序列。第二阶段，我们翻译PICG以指导模型生成PICG引导的图像特征。通过这种特征蒸馏步骤，我们将评分网络的特征与PICG引导的图像特征对齐，使模型能够有效地整合PICG信息。我们在公共数据集上开发了我们的模型，并在内部数据集上对其进行了评估。实验结果表明，我们的方法有效地提高了当前评分网络的性能。代码可在https://github.com/med-air/PICG2scoring 获取。
🔬 方法详解
问题定义：现有基于深度学习的PI-RADS评分方法，在进行前列腺癌MRI图像的PI-RADS评分时，通常忽略了放射科医生使用的PI-RADS临床指南（PICG）。这些指南包含了重要的先验知识，若能有效利用，可以提升评分的准确性。现有方法难以有效整合这些指南信息，成为一个痛点。
核心思路：该论文的核心思路是利用多模态大语言模型（MLLM）的强大能力，通过微调的方式，将PICG融入到PI-RADS评分模型中。具体来说，通过将PICG转化为指导信息，引导MLLM生成与指南相关的图像特征，并利用这些特征来指导评分网络的训练，从而实现PICG的有效整合。这种方法避免了直接修改评分网络结构或增加额外标注的需要。
技术框架：整体框架包含两个主要阶段：1) 域适配阶段：设计一个域适配器层，处理3D MRI输入，并指导MLLM区分MRI序列，使MLLM适应MRI图像的特征。2) 特征蒸馏阶段：将PICG翻译为指导信息，引导MLLM生成PICG引导的图像特征，然后利用这些特征作为“教师”信号，通过特征蒸馏的方式，训练评分网络，使其特征与PICG引导的特征对齐。
关键创新：该论文的关键创新在于提出了一种利用MLLM将临床指南融入医学图像分析任务的新方法。与传统方法相比，该方法无需额外标注，也无需修改评分网络结构，而是通过微调MLLM，并利用其生成的特征来指导评分网络的训练，从而实现了PICG的有效整合。这种方法具有很强的通用性，可以应用于其他医学图像分析任务中。
关键设计：在域适配阶段，设计了一个专门处理3D MRI输入的域适配器层。在特征蒸馏阶段，如何将PICG转化为有效的指导信息，以及如何设计损失函数，使得评分网络的特征能够与PICG引导的特征有效对齐，是关键的技术细节。具体的参数设置和网络结构细节在论文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
论文在公共数据集和内部数据集上进行了实验验证。实验结果表明，该方法能够有效提升现有评分网络的性能，证明了将临床指南融入模型的可行性和有效性。具体的性能提升幅度以及对比的基线模型需要在论文中查找（未知）。
🎯 应用场景
该研究成果可应用于计算机辅助诊断系统，辅助放射科医生进行前列腺癌的PI-RADS评分，提高诊断效率和准确性。该方法具有通用性，可推广到其他医学影像分析任务中，例如肺结节检测、脑肿瘤分割等，具有广阔的应用前景。未来，该技术有望集成到临床工作流程中，为患者提供更精准的诊断和治疗方案。
📄 摘要（原文）
The Prostate Imaging Reporting and Data System (PI-RADS) is pivotal in the diagnosis of clinically significant prostate cancer through MRI imaging. Current deep learning-based PI-RADS scoring methods often lack the incorporation of common PI-RADS clinical guideline~(PICG) utilized by radiologists, potentially compromising scoring accuracy. This paper introduces a novel approach that adapts a multi-modal large language model (MLLM) to incorporate PICG into PI-RADS scoring model without additional annotations and network parameters. We present a designed two-stage fine-tuning process aiming at adapting a MLLM originally trained on natural images to the MRI images while effectively integrating the PICG. Specifically, in the first stage, we develop a domain adapter layer tailored for processing 3D MRI inputs and instruct the MLLM to differentiate MRI sequences. In the second stage, we translate PICG for guiding instructions from the model to generate PICG-guided image features. Through such a feature distillation step, we align the scoring network's features with the PICG-guided image features, which enables the model to effectively incorporate the PICG information. We develop our model on a public dataset and evaluate it on an in-house dataset. Experimental results demonstrate that our approach effectively improves the performance of current scoring networks. Code is available at: https://github.com/med-air/PICG2scoring