Intermediate Layers Encode Optimal Biological Representations in Single-Cell Foundation Models

📄 arXiv: 2604.14838v1 📥 PDF

作者: Vincenzo Yuto Civale, Roberto Semeraro, Andrew David Bagdanov, Alberto Magi

分类: cs.AI

发布日期: 2026-04-16

备注: 9 pages, 2 figures, 4 tables. Accepted at the LMRL (Learning Meaningful Representations of Life) Workshop at ICLR 2026

💡 一句话要点

单细胞Foundation模型中，中间层编码了最优的生物学表征，超越了传统末层特征提取方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单细胞Foundation模型 表征学习 细胞轨迹推断 扰动响应预测 中间层特征 生物信息学 深度学习 细胞状态

📋 核心要点

  1. 现有单细胞Foundation模型评估主要依赖最终层嵌入，忽略了中间层可能包含更优的生物学信息。
  2. 该研究通过系统评估不同层级的表征能力，揭示了最优层选择依赖于具体任务和细胞状态。
  3. 实验结果表明，浅层表征在特定情况下优于深层，挑战了深度学习中层级特征抽象的固有假设。

📝 摘要（中文）

目前单细胞Foundation模型基准测试普遍提取最终层嵌入，并假设其代表最优特征空间。本文系统地评估了scFoundation (100M参数) 和 Tahoe-X1 (1.3B参数) 的逐层表征，用于轨迹推断和扰动响应预测。分析表明，最优层是任务相关的（轨迹推断的最佳层深度为60%，比最终层高31%），并且是上下文相关的（扰动优化的最佳层在T细胞激活状态下变化0-96%）。值得注意的是，在静止细胞中，第一层嵌入优于所有更深层，这挑战了关于分层特征抽象的假设。这些发现表明，“在哪里”提取特征与模型学习“什么”同样重要，因此需要针对生物学任务和细胞环境进行系统的层评估，而不是默认使用最终层嵌入。

🔬 方法详解

问题定义：现有单细胞Foundation模型评估方法主要依赖于提取模型的最后一层嵌入作为细胞表征，并以此进行下游任务，例如细胞轨迹推断和扰动响应预测。这种方法忽略了模型中间层可能包含更适合特定任务和细胞状态的生物学信息。因此，如何确定最佳的特征提取层，以最大化单细胞Foundation模型在不同生物学任务中的性能，是本文要解决的核心问题。

核心思路：本文的核心思路是系统性地评估单细胞Foundation模型中每一层的表征能力，并分析最优层与任务类型和细胞状态之间的关系。通过这种方式，打破了默认使用最后一层嵌入的传统，并为针对特定应用选择合适的特征提取层提供了依据。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择两个具有代表性的单细胞Foundation模型：scFoundation和Tahoe-X1；2) 针对每个模型，提取所有层的嵌入向量；3) 选择两个典型的单细胞分析任务：细胞轨迹推断和扰动响应预测；4) 使用不同层的嵌入向量作为输入，评估模型在这些任务上的性能；5) 分析最优层与任务类型和细胞状态之间的关系。

关键创新：该研究的关键创新在于：1) 首次系统性地评估了单细胞Foundation模型中不同层的表征能力；2) 揭示了最优层选择依赖于具体任务和细胞状态，挑战了默认使用最后一层嵌入的传统；3) 发现浅层表征在特定情况下优于深层，颠覆了深度学习中层级特征抽象的固有假设。

关键设计：在实验设计方面，研究者选择了两个具有不同规模和架构的单细胞Foundation模型，以保证结果的泛化性。在任务选择方面，选择了细胞轨迹推断和扰动响应预测这两个典型的单细胞分析任务，以全面评估模型的表征能力。在评估指标方面，使用了标准的性能指标，例如轨迹推断的准确性和扰动响应预测的R2分数。此外，研究者还对不同细胞状态下的最优层进行了分析，以揭示细胞状态对特征提取层选择的影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

研究结果表明，在细胞轨迹推断任务中，最优层深度为60%，比最终层高31%。在扰动响应预测任务中，最优层在T细胞激活状态下变化0-96%。更令人惊讶的是，在静止细胞中，第一层嵌入优于所有更深层。这些结果表明，选择合适的特征提取层可以显著提高单细胞Foundation模型在不同生物学任务中的性能。

🎯 应用场景

该研究成果可应用于单细胞数据分析的多个领域，例如细胞类型识别、细胞状态预测、药物靶点发现等。通过选择合适的特征提取层，可以显著提高单细胞Foundation模型在这些任务上的性能，从而加速生物医学研究的进程。此外，该研究也为单细胞Foundation模型的开发提供了新的思路，即在模型设计时应考虑不同层之间的差异，并针对特定应用进行优化。

📄 摘要（原文）

Current single-cell foundation model benchmarks universally extract final layer embeddings, assuming these represent optimal feature spaces. We systematically evaluate layer-wise representations from scFoundation (100M parameters) and Tahoe-X1 (1.3B parameters) across trajectory inference and perturbation response prediction. Our analysis reveals that optimal layers are task-dependent (trajectory peaks at 60% depth, 31% above final layers) and context-dependent (perturbation optima shift 0-96% across T cell activation states). Notably, first-layer embeddings outperform all deeper layers in quiescent cells, challenging assumptions about hierarchical feature abstraction. These findings demonstrate that "where" to extract features matters as much as "what" the model learns, necessitating systematic layer evaluation tailored to biological task and cellular context rather than defaulting to final-layer embeddings.