Language-Enhanced Representation Learning for Single-Cell Transcriptomics

📄 arXiv: 2503.09427v4 📥 PDF

作者: Yaorui Shi, Jiaqi Yang, Changhao Nai, Sihang Li, Junfeng Fang, Xiang Wang, Zhiyuan Liu, Yang Zhang

分类: cs.LG, cs.AI

发布日期: 2025-03-12 (更新: 2025-06-04)

💡 一句话要点

提出scMMGPT，用于单细胞转录组学中语言增强的表征学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单细胞转录组学 多模态学习 语言增强 表征学习 预训练 细胞注释 细胞聚类

📋 核心要点

  1. 现有单细胞大型语言模型(scLLM)仅关注转录组数据，忽略了文本描述中的生物学知识。
  2. scMMGPT通过多模态框架，结合转录组数据和文本描述，实现语言增强的细胞表征学习。
  3. 实验表明，scMMGPT在细胞注释、聚类等下游任务中优于现有方法，并具有更好的泛化能力。

📝 摘要（中文）

单细胞RNA测序(scRNA-seq)为细胞异质性提供了详细的见解。最近的研究利用单细胞大型语言模型(scLLM)进行有效的表征学习。这些模型仅关注转录组数据，忽略了来自文本描述的补充生物学知识。为了克服这个限制，我们提出了scMMGPT，这是一个新颖的多模态框架，专为单细胞转录组学中语言增强的表征学习而设计。与现有方法不同，scMMGPT采用强大的细胞表征提取，保留定量的基因表达数据，并引入了一种创新的两阶段预训练策略，结合了判别精度和生成灵活性。广泛的实验表明，scMMGPT在关键的下游任务（包括细胞注释和聚类）中显著优于单模态和多模态基线，并在分布外场景中表现出卓越的泛化能力。

🔬 方法详解

问题定义：现有单细胞转录组学表征学习方法，特别是基于单细胞大型语言模型(scLLM)的方法，主要依赖于基因表达数据，忽略了与细胞类型、功能相关的文本描述信息。这限制了模型对细胞异质性的理解和泛化能力。现有方法无法有效整合定量基因表达数据和文本描述，导致表征学习效果不佳。

核心思路：scMMGPT的核心思路是利用多模态学习框架，将单细胞转录组数据和相关的文本描述信息相结合，从而学习到更丰富、更具生物学意义的细胞表征。通过语言增强，模型可以更好地理解细胞的复杂性和异质性，提高下游任务的性能。

技术框架：scMMGPT采用一个两阶段的预训练框架。第一阶段是判别式预训练，旨在学习基因表达数据和文本描述之间的对应关系。第二阶段是生成式预训练，旨在提高模型的生成能力和对细胞表征的理解。整体框架包括细胞表征提取模块（用于处理基因表达数据），文本编码模块（用于处理文本描述），以及多模态融合模块（用于整合两种模态的信息）。

关键创新：scMMGPT的关键创新在于其多模态融合策略和两阶段预训练方法。与传统的单模态方法相比，scMMGPT能够利用文本信息来增强细胞表征。与现有的多模态方法相比，scMMGPT的两阶段预训练策略能够更好地平衡判别精度和生成灵活性，从而提高模型的性能。

关键设计：scMMGPT的关键设计包括：1) 细胞表征提取模块，用于保留基因表达数据的定量信息；2) 多模态融合模块，采用注意力机制来学习不同模态之间的关系；3) 两阶段预训练策略，第一阶段使用对比学习损失函数，第二阶段使用语言模型损失函数。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，scMMGPT在细胞注释和聚类等下游任务中显著优于单模态和多模态基线。例如，在细胞注释任务中，scMMGPT的准确率比最佳基线提高了5%以上。此外，scMMGPT在分布外场景中表现出卓越的泛化能力，表明其学习到的细胞表征更具鲁棒性和泛化性。

🎯 应用场景

scMMGPT在单细胞生物学研究中具有广泛的应用前景，例如细胞类型注释、细胞状态识别、疾病机制研究和药物靶点发现。通过整合转录组数据和文本信息，scMMGPT可以帮助研究人员更深入地理解细胞的复杂性和异质性，从而加速生物医学研究的进展。该方法还可以应用于开发更精准的诊断和治疗方法。

📄 摘要（原文）

Single-cell RNA sequencing (scRNA-seq) offers detailed insights into cellular heterogeneity. Recent advancements leverage single-cell large language models (scLLMs) for effective representation learning. These models focus exclusively on transcriptomic data, neglecting complementary biological knowledge from textual descriptions. To overcome this limitation, we propose scMMGPT, a novel multimodal framework designed for language-enhanced representation learning in single-cell transcriptomics. Unlike existing methods, scMMGPT employs robust cell representation extraction, preserving quantitative gene expression data, and introduces an innovative two-stage pre-training strategy combining discriminative precision with generative flexibility. Extensive experiments demonstrate that scMMGPT significantly outperforms unimodal and multimodal baselines across key downstream tasks, including cell annotation and clustering, and exhibits superior generalization in out-of-distribution scenarios.