Adaptation Interfaces for In-Context Tabular Foundation Models in Time-to-Event Prediction

📄 arXiv: 2609.04901v1 📥 PDF

作者: Minh-Khoi Pham, Luca Cotugno, Dan Cernei, Alina Sirbu, Stefano Masi, Giuseppe Prencipe, Alessandro Pingitore, Patrizia Landi, Working Group on Uric Acid, Cardiovascular Risk of the Italian Society of Hypertension, Tai Tan Mai, Martin Crane, Marija Bezbradica

分类: cs.LG, cs.AI

发布日期: 2026-09-04

备注: Under Submission. Not peer-reviewed

🔗 代码/项目: GITHUB

💡 一句话要点

提出适应接口以解决时间事件预测中的Tabular Foundation Models问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间事件预测 表格基础模型 生存分析 Cox比例风险模型 DeepHit 数据适应接口 临床研究 机器学习

📋 核心要点

  1. 现有的表格基础模型在处理审查和事件时间动态时存在不足，导致在时间事件预测中的应用受到限制。
  2. 论文提出了一种新的适应接口，将TabFMs与CoxPH和DeepHit结合，修订了训练程序以更好地处理时间事件数据。
  3. 实验结果显示，Cox在较大数据集上的集成Brier分数表现最强，而DeepHit在时间依赖的协调指数上相对更优。

📝 摘要（中文）

表格基础模型（TabFMs）在结构化数据上表现出色，尤其是在标准分类和回归问题上。然而，将其扩展到审查的时间事件预测中面临挑战，因为这需要妥善处理审查和事件时间动态。基于我们之前的工作，我们进一步将TabFMs与CoxPH和DeepHit相结合，并修订了上下文重采样训练程序。我们在74个单风险数据集上评估了时间零样本重构、基于分类的微调和生存头适应，并研究了4个竞争风险数据集。结果表明，零样本推理在较小的单风险数据集上有效，而监督适应在数据集规模增大时变得越来越有利。

🔬 方法详解

问题定义：本论文旨在解决表格基础模型在时间事件预测中的应用问题，尤其是如何有效处理审查和事件时间动态。现有方法在这方面的表现不足，限制了其在临床和生物统计领域的应用。

核心思路：论文的核心思路是通过引入适应接口，将TabFMs与Cox比例风险模型（CoxPH）和DeepHit相结合，修订上下文重采样训练程序，以便更好地适应时间事件数据的特性。

技术框架：整体架构包括三个主要模块：1) 时间零样本重构；2) 基于分类的微调；3) 生存头适应。通过这些模块，模型能够在不同的数据集上进行有效的训练和推理。

关键创新：最重要的技术创新点在于提出了新的适应接口，使得TabFMs能够更好地处理时间事件数据的统计结构，这与传统方法的直接应用有本质区别。

关键设计：在实验中，采用了冻结的TabFM骨干网络，设置了不同的损失函数以适应生存分析的需求，并对模型的超参数进行了细致调优，以提高预测性能。具体的实现脚本可在GitHub上获取。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，Cox模型在较大数据集上的集成Brier分数表现最为强劲，DeepHit在时间依赖的协调指数上相对更优。随着数据集规模的增大，分类微调与零样本推理的竞争力也显著提升，显示出适应接口的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗健康、临床试验和生物统计学等，能够帮助研究人员和医生更准确地预测患者的生存时间和风险，从而优化治疗方案和资源配置。未来，该方法可能推动时间事件预测领域的进一步发展，提升模型在复杂数据环境下的适应能力。

📄 摘要（原文）

Tabular foundation models (TabFMs) achieve strong performance on structured data, particularly for standard classification and regression problems. Yet, extending them to censored time-to-event prediction is challenging because it requires properly handling censoring and event-time dynamics. Building on our prior work, we further link TabFMs with CoxPH and DeepHit and revise the context-resampled training procedure. We evaluate temporal zero-shot reformulation, classification-based fine-tuning, and survival-head adaptation using frozen TabFM backbones on 74 single-risk data sets, and we additionally study 4 competing-risk data sets. Zero-shot inference is effective on smaller single-risk data sets, whereas supervised adaptation becomes increasingly advantageous as data sets scale. Cox provides the most reliably strong interface, especially for Integrated Brier Score (IBS) on larger data sets. DeepHit is relatively stronger for the time-dependent Concordance Index than for IBS, while cause-specific MTLR ranks highest among the TabFM survival heads in the four-data-set competing-risk analysis. Classification fine-tuning becomes more competitive with zero-shot inference as data sets grow but remains weaker for probabilistic prediction. Overall, our results indicate that effective TabFM transfer depends on the data regime and on the statistical structure represented by the chosen adaptation interface. The implementation scripts used for this work are available at https://github.com/kaylode/survival-fm.