Improving VTE Identification through Language Models from Radiology Reports: A Comparative Study of Mamba, Phi-3 Mini, and BERT

📄 arXiv: 2408.09043v1 📥 PDF

作者: Jamie Deng, Yusen Wu, Yelena Yesha, Phuong Nguyen

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-08-16

💡 一句话要点

利用Mamba架构提升放射报告中静脉血栓栓塞识别的准确性和效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 静脉血栓栓塞 放射报告 Mamba架构 深度学习 自然语言处理

📋 核心要点

  1. 现有VTE识别方法复杂，依赖人工特征工程，需要专家知识，限制了其应用范围和效率。
  2. 论文提出使用Mamba架构构建分类器，旨在简化模型结构，减少人工干预，同时保持或提升识别准确率。
  3. 实验结果表明，Mamba模型在DVT和PE数据集上均取得了优异的准确率和F1分数，优于传统方法。

📝 摘要（中文）

静脉血栓栓塞(VTE)是一种严重的心血管疾病，包括深静脉血栓(DVT)和肺栓塞(PE)。准确、及时地识别VTE对于有效的医疗至关重要。本研究基于我们之前的工作，该工作使用深度学习方法进行DVT检测，并采用深度学习和基于规则的分类相结合的混合方法进行PE检测。我们早期的研究虽然有效，但存在两个主要局限性：复杂性高，并且需要专家参与规则集的特征工程。为了克服这些挑战，我们利用基于Mamba架构的分类器。该模型取得了显著成果，在DVT数据集上实现了97%的准确率和F1分数，在PE数据集上实现了98%的准确率和F1分数。与之前用于PE识别的混合方法相比，Mamba分类器消除了对手工设计的规则的需求，显著降低了模型复杂性，同时保持了相当的性能。此外，我们评估了一个轻量级大型语言模型(LLM)Phi-3 Mini在检测VTE方面的能力。虽然该模型提供了具有竞争力的结果，优于基线BERT模型，但由于其较大的参数集，计算量很大。我们的评估表明，基于Mamba的模型在VTE识别方面表现出卓越的性能和效率，为先前方法的局限性提供了一种有效的解决方案。

🔬 方法详解

问题定义：论文旨在解决静脉血栓栓塞（VTE）识别问题，具体包括深静脉血栓（DVT）和肺栓塞（PE）的诊断。现有方法，如基于深度学习和规则的混合方法，存在模型复杂、需要人工特征工程等痛点，限制了其易用性和泛化能力。

核心思路：论文的核心思路是利用Mamba架构构建分类器，替代传统方法中的复杂规则和人工特征。Mamba架构以其选择性状态空间模型（Selective State Space Model, S6）而闻名，能够高效处理长序列数据，并具有良好的建模能力。这种设计旨在降低模型复杂性，减少对专家知识的依赖，同时保持或提升VTE识别的准确率。

技术框架：整体框架包括：1）数据预处理：对放射报告文本进行清洗和标准化；2）模型构建：使用Mamba架构构建分类器，用于DVT和PE的识别；3）模型训练：使用标注好的DVT和PE数据集训练Mamba模型；4）模型评估：使用测试集评估模型的性能，包括准确率、F1分数等指标。同时，论文还评估了Phi-3 Mini和BERT模型作为对比。

关键创新：最重要的技术创新点在于使用Mamba架构进行VTE识别。与传统的循环神经网络（RNN）或Transformer相比，Mamba架构具有更高的计算效率和更好的长序列建模能力。此外，Mamba模型无需人工特征工程，降低了对专家知识的依赖，简化了模型开发流程。

关键设计：论文中关于Mamba模型的具体参数设置、损失函数和网络结构等技术细节描述不足，属于未知信息。但可以推测，模型可能采用了标准的交叉熵损失函数进行训练，并根据数据集的特点调整了Mamba层的数量和隐藏层维度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于Mamba架构的分类器在DVT数据集上实现了97%的准确率和F1分数，在PE数据集上实现了98%的准确率和F1分数。与之前的混合方法相比，Mamba模型在保持相当性能的同时，显著降低了模型复杂性，无需人工特征工程。Phi-3 Mini模型虽然优于BERT基线，但计算量较大，Mamba模型在性能和效率上更具优势。

🎯 应用场景

该研究成果可应用于临床辅助诊断系统，帮助医生快速准确地识别VTE，提高诊断效率和准确性，减少漏诊和误诊。此外，该方法还可以扩展到其他疾病的诊断，具有广泛的应用前景。未来，可以进一步研究如何将Mamba模型与其他医学影像数据结合，实现更全面的VTE诊断。

📄 摘要（原文）

Venous thromboembolism (VTE) is a critical cardiovascular condition, encompassing deep vein thrombosis (DVT) and pulmonary embolism (PE). Accurate and timely identification of VTE is essential for effective medical care. This study builds upon our previous work, which addressed VTE detection using deep learning methods for DVT and a hybrid approach combining deep learning and rule-based classification for PE. Our earlier approaches, while effective, had two major limitations: they were complex and required expert involvement for feature engineering of the rule set. To overcome these challenges, we utilize the Mamba architecture-based classifier. This model achieves remarkable results, with a 97\% accuracy and F1 score on the DVT dataset and a 98\% accuracy and F1 score on the PE dataset. In contrast to the previous hybrid method on PE identification, the Mamba classifier eliminates the need for hand-engineered rules, significantly reducing model complexity while maintaining comparable performance. Additionally, we evaluated a lightweight Large Language Model (LLM), Phi-3 Mini, in detecting VTE. While this model delivers competitive results, outperforming the baseline BERT models, it proves to be computationally intensive due to its larger parameter set. Our evaluation shows that the Mamba-based model demonstrates superior performance and efficiency in VTE identification, offering an effective solution to the limitations of previous approaches.