Multimodal Survival Analysis with Locally Deployable Large Language Models

📄 arXiv: 2603.22158v1 📥 PDF

作者: Moritz Gögl, Christopher Yau

分类: cs.LG, cs.AI

发布日期: 2026-03-23

备注: NeurIPS 2025 Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences

💡 一句话要点

提出基于本地部署LLM的多模态生存分析方法，提升预测精度和隐私性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生存分析 本地部署LLM 教师-学生蒸馏 临床文本挖掘 基因组数据分析

📋 核心要点

  1. 现有生存分析方法难以有效整合多模态数据，且依赖云服务存在隐私风险。
  2. 提出一种基于本地部署LLM的多模态融合框架，利用蒸馏技术提升模型效率和准确性。
  3. 实验表明，该方法在TCGA队列上优于传统基线，并降低了幻觉和错误校准的风险。

📝 摘要（中文）

本文研究了使用本地部署的大型语言模型（LLM）进行多模态生存分析，整合了临床文本、表格协变量和基因组谱。考虑到许多机构面临着严格的计算和隐私约束，这种设置促使人们使用轻量级的、本地部署的模型。该方法通过教师-学生蒸馏和有原则的多模态融合，联合估计校准后的生存概率，并生成简洁的、基于证据的预后文本。在TCGA队列上的实验表明，该方法优于标准基线，避免了对云服务的依赖和相关的隐私问题，并降低了基础LLM中可能出现的幻觉或错误校准估计的风险。

🔬 方法详解

问题定义：现有的生存分析方法通常难以有效整合来自临床文本、表格数据和基因组谱等多模态信息，并且依赖于云服务的大型语言模型带来了隐私泄露的风险。此外，直接使用未经校准的LLM进行生存分析可能导致幻觉或错误校准的预测结果，影响临床决策。

核心思路：本文的核心思路是利用本地部署的轻量级LLM，通过教师-学生蒸馏的方式，将大型预训练模型的知识迁移到小型模型上，从而在保证计算效率和隐私性的同时，提升模型在多模态生存分析任务上的性能。通过有原则的多模态融合策略，整合来自不同模态的信息，提高预测的准确性和可靠性。

技术框架：该方法包含以下主要模块：1) 多模态数据编码：使用不同的编码器（例如，文本编码器、表格数据编码器、基因组数据编码器）将不同模态的数据转换为向量表示。2) 教师-学生蒸馏：使用大型预训练模型作为教师模型，指导小型本地部署模型（学生模型）的学习。3) 多模态融合：设计一种融合机制，将来自不同模态的向量表示进行融合，得到一个统一的表示。4) 生存概率估计：使用融合后的表示来估计生存概率。5) 预后文本生成：利用LLM生成简洁的、基于证据的预后文本。

关键创新：该方法最重要的技术创新点在于：1) 提出了一个基于本地部署LLM的多模态生存分析框架，解决了隐私和计算资源限制的问题。2) 采用教师-学生蒸馏的方式，将大型预训练模型的知识迁移到小型模型上，提高了模型的效率和准确性。3) 设计了一种有原则的多模态融合策略，有效整合了来自不同模态的信息。

关键设计：具体的技术细节包括：1) 选择合适的本地部署LLM，例如，经过微调的BERT或RoBERTa模型。2) 设计合适的教师-学生蒸馏损失函数，例如，KL散度损失或交叉熵损失。3) 设计一种有效的多模态融合机制，例如，注意力机制或拼接操作。4) 使用校准技术，例如，温度缩放，来校准生存概率的估计。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在TCGA队列上优于标准基线方法，例如Cox比例风险模型和随机生存森林。具体而言，该方法在C-index指标上取得了显著提升，表明其具有更好的区分患者生存风险的能力。此外，该方法还能够生成简洁的、基于证据的预后文本，为临床医生提供更直观的决策支持。

🎯 应用场景

该研究成果可应用于多种疾病的预后预测，例如癌症、心血管疾病等。通过整合临床文本、表格数据和基因组谱等多模态信息，可以更准确地预测患者的生存概率，为临床医生提供更可靠的决策支持。此外，本地部署的特性可以保护患者的隐私，避免数据泄露的风险。未来，该方法可以进一步推广到其他医疗领域，例如，药物研发、个性化治疗等。

📄 摘要（原文）

We study multimodal survival analysis integrating clinical text, tabular covariates, and genomic profiles using locally deployable large language models (LLMs). As many institutions face tight computational and privacy constraints, this setting motivates the use of lightweight, on-premises models. Our approach jointly estimates calibrated survival probabilities and generates concise, evidence-grounded prognosis text via teacher-student distillation and principled multimodal fusion. On a TCGA cohort, it outperforms standard baselines, avoids reliance on cloud services and associated privacy concerns, and reduces the risk of hallucinated or miscalibrated estimates that can be observed in base LLMs.