Prostate Cancer Classification Using Multimodal Feature Fusion and Explainable AI

📄 arXiv: 2507.20714v1 📥 PDF

作者: Asma Sadia Khan, Fariba Tasnia Khan, Tanjim Mahmud, Salman Karim Khan, Rishita Chakma, Nahed Sharmen, Mohammad Shahadat Hossain, Karl Andersson

分类: cs.LG, cs.AI, q-bio.QM, stat.AP

发布日期: 2025-07-28

💡 一句话要点

提出基于BERT和随机森林的多模态融合可解释AI系统，用于前列腺癌分类。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 前列腺癌诊断 多模态融合 BERT 随机森林 可解释AI

📋 核心要点

  1. 现有前列腺癌诊断方法在结合文本和数值数据方面存在不足，且缺乏可解释性，限制了临床应用。
  2. 论文提出一种基于BERT和随机森林的多模态融合方法，利用BERT处理文本临床记录，随机森林处理数值实验室数据。
  3. 实验结果表明，该方法在PLCO-NIH数据集上取得了98%的准确率和99%的AUC，尤其在中间癌症阶段表现突出。

📝 摘要（中文）

前列腺癌是男性第二大常见恶性肿瘤，需要先进的诊断工具。本文提出了一种可解释的AI系统，该系统通过新颖的多模态融合策略结合了BERT（用于文本临床记录）和随机森林（用于数值实验室数据），在PLCO-NIH数据集上实现了卓越的分类性能（98%的准确率，99%的AUC）。虽然多模态融合已经建立，但我们的工作表明，一个简单但可解释的BERT+RF管道提供了临床上显著的改进——特别是对于中间癌症阶段（2/3类的召回率：0.900组合，而数值/文本分别为0.824/0.725）。SHAP分析提供了透明的特征重要性排序，而消融研究证明了文本特征的互补价值。这种易于访问的方法为医院提供了高性能（F1=89%）、计算效率和临床可解释性之间的平衡——满足了前列腺癌诊断中的关键需求。

🔬 方法详解

问题定义：前列腺癌的诊断需要结合临床笔记和实验室数据，但现有方法难以有效融合这两种模态的信息，并且缺乏可解释性，医生难以理解模型的决策依据。这阻碍了AI系统在临床上的广泛应用。

核心思路：论文的核心思路是利用BERT模型提取临床笔记中的文本特征，利用随机森林模型处理数值型的实验室数据，然后通过一种简单但有效的融合策略将两种特征结合起来，最后使用融合后的特征进行前列腺癌的分类。这种方法旨在兼顾性能和可解释性。

技术框架：该系统的整体框架包括以下几个主要模块：1) 文本特征提取：使用预训练的BERT模型对临床笔记进行编码，提取文本特征。2) 数值特征处理：使用随机森林模型处理数值型的实验室数据，得到数值特征。3) 特征融合：将BERT提取的文本特征和随机森林提取的数值特征进行融合。4) 分类：使用融合后的特征训练分类器，进行前列腺癌的分类。5) 可解释性分析：使用SHAP值分析特征的重要性，提供模型决策的解释。

关键创新：该论文的关键创新在于提出了一种简单但有效的多模态融合策略，将BERT模型和随机森林模型结合起来，用于前列腺癌的分类。此外，论文还强调了模型的可解释性，使用SHAP值分析特征的重要性，为医生提供决策依据。虽然多模态融合不是新概念，但BERT+RF的组合及其在特定临床问题上的有效性是亮点。

关键设计：论文中BERT模型使用了预训练的权重，并针对前列腺癌诊断任务进行了微调。随机森林模型使用了默认的参数设置。特征融合的方式未知，但摘要中提到是“novel multimodal fusion strategy”，可能有一些特殊的设计。SHAP值用于解释模型预测结果，具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究在PLCO-NIH数据集上取得了显著的成果，准确率达到98%，AUC达到99%。与单独使用数值或文本特征相比，多模态融合显著提高了分类性能，尤其是在中间癌症阶段（2/3类）的召回率从0.824（数值）/0.725（文本）提升到0.900（组合）。F1值达到89%，表明该系统具有良好的整体性能。

🎯 应用场景

该研究成果可应用于医院的前列腺癌辅助诊断，帮助医生更准确地判断患者的病情，制定更合适的治疗方案。该系统具有高性能、计算效率和临床可解释性，有望提高前列腺癌的诊断效率和准确性，改善患者的预后。未来，该方法可以推广到其他疾病的诊断中。

📄 摘要（原文）

Prostate cancer, the second most prevalent male malignancy, requires advanced diagnostic tools. We propose an explainable AI system combining BERT (for textual clinical notes) and Random Forest (for numerical lab data) through a novel multimodal fusion strategy, achieving superior classification performance on PLCO-NIH dataset (98% accuracy, 99% AUC). While multimodal fusion is established, our work demonstrates that a simple yet interpretable BERT+RF pipeline delivers clinically significant improvements - particularly for intermediate cancer stages (Class 2/3 recall: 0.900 combined vs 0.824 numerical/0.725 textual). SHAP analysis provides transparent feature importance rankings, while ablation studies prove textual features' complementary value. This accessible approach offers hospitals a balance of high performance (F1=89%), computational efficiency, and clinical interpretability - addressing critical needs in prostate cancer diagnostics.