GeneICL: A Tabular Foundation Model for Bulk Transcriptomics
作者: Michael Bohl, Alexander Theus, David Wissel, Valentina Boeva
分类: cs.LG
发布日期: 2026-10-06
💡 一句话要点
提出GeneICL以解决转录组数据预测中的高维挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 转录组学 临床预测 自监督学习 基础模型 生存分析 高效架构 参数效率
📋 核心要点
- 现有的转录组模型在处理高维数据和特征相关性时表现不佳，导致临床结果预测的准确性不足。
- GeneICL通过结合转录组感知的半合成预训练和高效的递归架构，提供了一种新的解决方案，旨在提升模型性能。
- 在80个临床结果预测任务中，GeneICL的表现优于自监督模型，且在参数效率和推理速度上具有显著优势。
📝 摘要（中文）
基因表达在生物医学中被广泛测量，但由于高维度、强特征相关性和有限标记数据，临床结果预测仍然具有挑战性。大型自监督转录组基础模型往往无法超越简单的监督基线。本文提出GeneICL，一个结合半合成预训练和高效递归架构的4.2M参数表格基础模型，旨在通过转录组感知的预训练来提升性能。我们在80个临床结果预测任务上评估GeneICL，结果显示其在分类、回归和生存预测任务中均优于自监督转录组模型，并且在评估的基础模型和调优基线中排名最佳。
🔬 方法详解
问题定义：本文旨在解决转录组数据在临床结果预测中的高维度和特征相关性问题。现有的大型自监督模型在这些任务中往往无法超越简单的监督学习基线，导致预测效果不理想。
核心思路：GeneICL的核心思路是通过转录组感知的半合成预训练来增强模型的学习能力，而非单纯依赖模型规模。该方法结合了高效的递归架构，以提高参数利用率和推理速度。
技术框架：GeneICL的整体架构包括一个半合成预训练模块，该模块基于实际的转录组数据构建，随后通过递归神经网络进行特征学习和预测。模型在推理阶段无需梯度更新，确保快速响应。
关键创新：GeneICL的主要创新在于其转录组感知的预训练策略，这与传统的基于通用合成数据的预训练方法有本质区别，能够更好地捕捉转录组数据的特征。
关键设计：该模型包含4.2M参数，采用递归架构以提高参数效率，同时在生存预测中通过Cox部分似然残差实现无训练的回归简化。
🖼️ 关键图片
📊 实验亮点
在80个临床结果预测任务中，GeneICL的表现超越了自监督转录组模型，且在参数效率上具有显著优势，参数量减少至387倍，推理速度在普通笔记本CPU上可在数秒内完成，显示出其在实际应用中的巨大潜力。
🎯 应用场景
GeneICL在生物医学领域具有广泛的应用潜力，尤其是在临床结果预测、个性化医疗和疾病预后评估等方面。其高效的推理能力和优越的性能使其能够在实际医疗场景中快速应用，助力医生做出更精准的决策。
📄 摘要（原文）
Gene expression is widely measured in biomedicine, yet clinical outcome prediction remains challenging due to high dimensionality, strong feature correlations, and limited labeled data. Large self-supervised transcriptomic foundation models often fail to outperform simple supervised baselines. Tabular foundation models offer an alternative through in-context learning, but are typically pretrained on generic synthetic data rather than transcriptomic structure. We ask whether transcriptomics-aware pretraining, rather than scale, is the missing ingredient. Towards this end, we introduce GeneICL, a 4.2M-parameter tabular foundation model combining a semi-synthetic pretraining prior built from measured bulk expression profiles with a parameter-efficient recurrent architecture. We further enable right-censored survival prediction via a training-free reduction to regression using Cox partial-likelihood residuals. We evaluate GeneICL on 80 clinical outcome-prediction tasks spanning classification, regression, and survival. Tabular foundation models consistently outperform self-supervised transcriptomic models, while GeneICL achieves the best overall rank among evaluated foundation models and tuned baselines. GeneICL does so with up to 387$\times$ fewer parameters, no gradient updates at inference, and predictions within seconds on a laptop CPU.