Multimodal Machine Learning for Early Prediction of Metastasis in a Swedish Multi-Cancer Cohort

📄 arXiv: 2603.29793v1 📥 PDF

作者: Franco Rugolon, Korbinian Randl, Braslav Jovanovic, Ioanna Miliou, Panagiotis Papapetrou

分类: cs.LG, q-bio.QM

发布日期: 2026-03-31

💡 一句话要点

提出一种多模态机器学习框架，用于提前一个月预测四种癌症的转移风险。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态机器学习 癌症转移预测 电子健康记录 深度学习 特征融合

📋 核心要点

  1. 现有方法难以有效整合电子健康记录中多模态数据，限制了癌症转移风险的早期预测能力。
  2. 提出一种多模态机器学习框架，融合结构化数据（如实验室结果）和非结构化文本数据，以提升预测性能。
  3. 实验结果表明，中间融合策略在多种癌症类型上取得了优秀的F1分数，深度学习模型优于传统模型。

📝 摘要（中文）

本研究提出了一种多模态机器学习框架，旨在利用电子健康记录（EHR）中的结构化和非结构化数据，全面评估患者状态，从而在诊断前一个月预测癌症转移风险。研究分析了瑞典卡罗林斯卡大学医院收集的四个癌症队列数据：乳腺癌（n = 743）、结肠癌（n = 387）、肺癌（n = 870）和前列腺癌（n = 1890）。数据集包括人口统计学信息、合并症、实验室结果、药物和临床文本。研究比较了传统机器学习和深度学习分类器在单模态和多模态组合下的性能，采用了不同的融合策略，并遵循TRIPOD 2a设计，使用80-20的开发-验证集划分以确保评估的严谨性和可重复性。性能评估指标包括AUROC、AUPRC、F1分数、灵敏度和特异性。此外，还采用了多模态SHAP分析来解释分类器的推理过程。结果表明，中间融合在乳腺癌、结肠癌和前列腺癌上取得了最高的F1分数，分别为0.845、0.786和0.845，表现出强大的预测性能。对于肺癌，中间融合的F1分数为0.819，而仅使用文本的模型取得了最高的F1分数0.829。深度学习分类器始终优于传统模型。SHAP分析表明，不同模态的重要性因癌症类型而异。中间融合策略通常能取得最佳结果，但策略选择应与数据特征和组织需求相符。

🔬 方法详解

问题定义：论文旨在解决癌症转移风险的早期预测问题。现有方法通常依赖单一数据源或简单的特征工程，无法充分利用电子健康记录中蕴含的多模态信息，例如结构化的实验室结果和非结构化的临床文本，导致预测精度受限。

核心思路：论文的核心思路是利用多模态机器学习方法，将来自电子健康记录的不同类型数据（如人口统计学信息、合并症、实验室结果、药物和临床文本）进行有效融合，从而更全面地了解患者的健康状况，提高癌症转移风险的预测准确性。通过比较不同的融合策略，寻找最适合特定癌症类型的融合方式。

技术框架：该框架包含数据预处理、特征提取、模型训练和性能评估等主要阶段。首先，对电子健康记录中的结构化和非结构化数据进行清洗和预处理。然后，针对不同模态的数据，提取相应的特征。接下来，使用传统机器学习和深度学习分类器，并采用不同的融合策略（如早期融合、晚期融合和中间融合）进行模型训练。最后，使用AUROC、AUPRC、F1分数等指标评估模型的性能，并使用SHAP分析解释模型的预测结果。

关键创新：该论文的关键创新在于：1) 提出了一个通用的多模态机器学习框架，可以灵活地应用于不同类型的癌症转移风险预测；2) 比较了多种融合策略在不同癌症类型上的性能，揭示了不同融合策略的优缺点；3) 使用SHAP分析解释了模型的预测结果，提高了模型的可解释性。

关键设计：论文采用了80-20的开发-验证集划分，以确保评估的严谨性和可重复性。针对文本数据，使用了词袋模型或词嵌入等方法进行特征提取。在模型训练方面，使用了逻辑回归、支持向量机、随机森林等传统机器学习模型，以及卷积神经网络、循环神经网络等深度学习模型。对于中间融合，具体实现方式未知，可能涉及将不同模态的特征向量连接起来，然后输入到全连接层或更复杂的神经网络中。

📊 实验亮点

实验结果表明，中间融合策略在乳腺癌、结肠癌和前列腺癌上取得了最高的F1分数，分别为0.845、0.786和0.845。对于肺癌，文本模型取得了最高的F1分数0.829。深度学习分类器始终优于传统模型。这些结果表明，多模态机器学习方法可以显著提高癌症转移风险的预测准确性。

🎯 应用场景

该研究成果可应用于临床决策支持系统，帮助医生更早地识别高风险患者，从而制定更积极的治疗方案，改善患者的预后。此外，该框架还可以扩展到其他疾病的早期预测和风险评估，具有广泛的应用前景。

📄 摘要（原文）

Multimodal Machine Learning offers a holistic view of a patient's status, integrating structured and unstructured data from electronic health records (EHR). We propose a framework to predict metastasis risk one month prior to diagnosis, using six months of clinical history from EHR data. Data from four cancer cohorts collected at Karolinska University Hospital (Stockholm, Sweden) were analyzed: breast (n = 743), colon (n = 387), lung (n = 870), and prostate (n = 1890). The dataset included demographics, comorbidities, laboratory results, medications, and clinical text. We compared traditional and deep learning classifiers across single modalities and multimodal combinations, using various fusion strategies and a Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) 2a design, with an 80-20 development-validation split to ensure a rigorous, repeatable evaluation. Performance was evaluated using AUROC, AUPRC, F1 score, sensitivity, and specificity. We then employed a multimodal adaptation of SHAP to analyze the classifiers' reasoning. Intermediate fusion achieved the highest F1 scores on breast (0.845), colon (0.786), and prostate cancer (0.845), demonstrating strong predictive performance. For lung cancer, the intermediate fusion achieved an F1 score of 0.819, while the text-only model achieved the highest, with an F1 score of 0.829. Deep learning classifiers consistently outperformed traditional models. Colon cancer, the smallest cohort, had the lowest performance, highlighting the importance of sufficient training data. SHAP analysis showed that the relative importance of modalities varied across cancer types. Fusion strategies offer distinct strengths and weaknesses. Intermediate fusion consistently delivered the best results, but strategy choices should align with data characteristics and organizational needs.