SurvICL: a Foundation Model for in-context Survival Analysis

📄 arXiv: 2610.22242v1 📥 PDF

作者: Julie Alberge, Linus Bleistein, Judith Abécassis, Marine Le Morvan, Gaël Varoquaux, David Holzmüller

分类: stat.ML, cs.LG

发布日期: 2026-10-15

💡 一句话要点

提出SurvICL以解决生存分析中的模型性能问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生存分析 表格基础模型 Cox模型 分位数回归 合成数据 临床研究 机器学习

📋 核心要点

  1. 现有的生存分析模型在小型临床队列上表现不佳，尤其是传统的Cox模型仍然占据主导地位。
  2. SurvICL通过在合成数据集上进行预训练，利用灵活的比例赔率先验和分位数回归损失来预测生存曲线。
  3. 在63个未参与设计决策的数据集上，SurvICL在集成Brier分数上显著超越了20个基线模型，包括Cox模型。

📝 摘要（中文）

表格基础模型（TFMs）在分类和回归任务中已超越梯度提升树。然而，在生存分析中，现有的TFM无法超越已有半个世纪的Cox模型。为此，本文提出了SurvICL，一个能够在上下文中预测生存曲线的TFM。SurvICL在纯合成数据集上进行预训练，使用了一种新颖的灵活比例赔率先验，并在消融研究中表现优于其他先验类型。与大多数生存模型不同，SurvICL采用简单的分位数回归损失进行训练，得益于其合成预训练数据生成器能够提供未删失的事件时间。此外，本文还引入了迄今为止最大的生存基准，涵盖103个数据集。在63个未参与设计决策的数据集上，SurvICL在集成Brier分数的成对比较中赢得82.9%的胜率，超越了Cox模型的71.3%，并且在小数据集上首次超越Cox模型。

🔬 方法详解

问题定义：本文旨在解决生存分析中现有模型（如Cox模型）在小型临床数据集上的性能不足问题，尤其是在处理删失数据时的局限性。

核心思路：SurvICL通过在合成数据集上进行预训练，采用灵活的比例赔率先验和分位数回归损失，能够更有效地捕捉生存曲线的特征。

技术框架：SurvICL的整体架构包括数据生成模块、预训练模块和预测模块。数据生成模块负责生成合成数据，预训练模块使用这些数据进行模型训练，预测模块则用于实际的生存曲线预测。

关键创新：SurvICL的主要创新在于其使用合成数据进行预训练，并采用分位数回归损失，这使得模型能够在未删失事件时间的情况下进行有效训练，突破了传统生存模型的限制。

关键设计：在模型设计中，SurvICL使用了灵活的比例赔率先验，并通过简单的分位数回归损失函数进行训练，确保模型能够在多种数据集上表现优异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SurvICL在63个未参与设计的数据集上表现出色，集成Brier分数的成对比较中赢得82.9%的胜率，显著高于Cox模型的71.3%。这一结果表明，SurvICL在小数据集上的生存预测能力优于传统模型，标志着生存分析领域的一次重要进展。

🎯 应用场景

SurvICL的研究成果在医学和临床研究中具有广泛的应用潜力，尤其是在小型临床试验和生存分析中。通过提高生存预测的准确性，能够为患者提供更好的治疗方案和预后评估。此外，该模型的灵活性和可扩展性使其在其他领域的生存分析中也具备应用价值。

📄 摘要（原文）

Tabular foundation models (TFMs) now outperform gradient-boosted trees in classification and regression. Yet in survival analysis, which predicts when an event occurs from censored data, often on small clinical cohorts, we find that no existing TFM beats the half-century-old Cox model. We address this issue by introducing SurvICL, a TFM that predicts survival curves in-context. SurvICL is pretrained on purely synthetic datasets generated from a novel flexible proportional-odds prior that outperforms other prior types in our ablation study. Unlike most other survival models, SurvICL is trained with a plain quantile regression loss, which is possible because its synthetic pre-training data generator can provide uncensored event times. Additionally, we introduce the largest survival benchmark to date spanning 103 datasets. On the 63 datasets held out from all design decisions, SurvICL outperforms 20 tree-based, deep, and foundation-model baselines without any tuning: it wins 82.9\% of pairwise comparisons in integrated Brier score, against 71.3\% for the runner-up, the Cox model, and is the first model to rank above Cox on small datasets.