CellVerse: Do Large Language Models Really Understand Cell Biology?
作者: Fan Zhang, Tianyu Liu, Zhihong Zhu, Hao Wu, Haixin Wang, Donghao Zhou, Yefeng Zheng, Kun Wang, Xian Wu, Pheng-Ann Heng
分类: q-bio.QM, cs.AI, cs.CL, q-bio.CB
发布日期: 2025-05-09
💡 一句话要点
CellVerse：构建单细胞生物学语言理解基准，评估大语言模型能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 单细胞分析 大语言模型 生物信息学 问答基准 多组学数据
📋 核心要点
- 现有方法缺乏对LLMs在单细胞分析任务上的全面评估，阻碍了其在该领域的应用。
- CellVerse通过构建统一的语言中心问答基准，整合多组学数据，实现多层级单细胞分析任务。
- 实验表明，通用LLMs展现出初步的细胞生物学理解能力，但整体性能仍有较大提升空间。
📝 摘要（中文）
本文提出了CellVerse，一个统一的、以语言为中心的问答基准，用于评估大语言模型（LLMs）在单细胞生物学理解方面的能力。CellVerse整合了四种类型的单细胞多组学数据，并涵盖了三个层级的单细胞分析任务：细胞类型注释（细胞层面）、药物反应预测（药物层面）和扰动分析（基因层面）。通过在CellVerse上对14个开源和闭源的LLMs（参数规模从160M到671B）进行系统评估，实验结果表明：现有专家模型（C2S-Pythia）在CellVerse的所有子任务中表现不佳，而Qwen、Llama、GPT和DeepSeek等通用模型展现出初步的细胞生物学理解能力。然而，当前LLMs的性能远未达到预期，仍有巨大的提升空间。特别是在药物反应预测任务中，没有一个被评估的LLM表现出优于随机猜测的性能。CellVerse首次大规模地实证表明，将LLMs应用于细胞生物学仍然面临重大挑战。CellVerse的引入为通过自然语言推进细胞生物学研究奠定了基础，并有望促进下一代单细胞分析。
🔬 方法详解
问题定义：论文旨在解决如何全面评估大语言模型（LLMs）在理解和处理单细胞生物学数据方面的能力。现有方法缺乏统一的基准和评估体系，难以有效衡量LLMs在细胞类型注释、药物反应预测和扰动分析等关键任务上的表现，阻碍了LLMs在单细胞分析领域的应用。
核心思路：论文的核心思路是构建一个以语言为中心的问答基准CellVerse，将单细胞多组学数据转化为自然语言描述，并设计不同层级的问答任务，从而系统性地评估LLMs对单细胞生物学知识的理解和推理能力。通过这种方式，可以更清晰地了解LLMs在处理生物学问题时的优势和局限性。
技术框架：CellVerse包含以下主要组成部分：1) 多组学数据整合模块，整合了四种类型的单细胞多组学数据；2) 任务定义模块，定义了细胞类型注释（细胞层面）、药物反应预测（药物层面）和扰动分析（基因层面）三个层级的单细胞分析任务；3) 问答生成模块，将单细胞数据和任务转化为自然语言问答对；4) 评估模块，用于评估LLMs在CellVerse上的表现。整体流程是，首先将单细胞数据转化为自然语言问答对，然后将这些问答对输入到不同的LLMs中，最后根据LLMs的回答评估其在不同任务上的性能。
关键创新：CellVerse的关键创新在于其统一的、以语言为中心的问答基准设计。与以往的研究不同，CellVerse不仅整合了多种类型的单细胞数据，还涵盖了多个层级的分析任务，从而能够更全面地评估LLMs在单细胞生物学领域的理解能力。此外，CellVerse还提供了一个标准化的评估框架，方便研究人员比较不同LLMs的性能。
关键设计：CellVerse的关键设计包括：1) 多组学数据的选择，选择了具有代表性的四种单细胞多组学数据；2) 任务难度的设计，设计了不同难度的问答任务，以区分LLMs的理解能力；3) 评估指标的选择，选择了能够反映LLMs在不同任务上表现的评估指标，例如准确率、F1值等。论文没有详细说明具体的参数设置、损失函数或网络结构，因为CellVerse本身是一个基准，而不是一个具体的模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通用LLMs如Qwen、Llama、GPT和DeepSeek在CellVerse上展现出初步的细胞生物学理解能力，但整体性能仍有较大提升空间。特别是在药物反应预测任务中，没有一个被评估的LLM表现出优于随机猜测的性能，表明LLMs在处理复杂的生物学问题时仍面临挑战。
🎯 应用场景
该研究成果可应用于单细胞生物学领域，帮助研究人员利用大语言模型进行细胞类型注释、药物反应预测和基因扰动分析。CellVerse基准的建立，能够促进LLMs在生物医学领域的应用，加速药物研发和疾病诊断进程，并为个性化医疗提供新的可能性。
📄 摘要（原文）
Recent studies have demonstrated the feasibility of modeling single-cell data as natural languages and the potential of leveraging powerful large language models (LLMs) for understanding cell biology. However, a comprehensive evaluation of LLMs' performance on language-driven single-cell analysis tasks still remains unexplored. Motivated by this challenge, we introduce CellVerse, a unified language-centric question-answering benchmark that integrates four types of single-cell multi-omics data and encompasses three hierarchical levels of single-cell analysis tasks: cell type annotation (cell-level), drug response prediction (drug-level), and perturbation analysis (gene-level). Going beyond this, we systematically evaluate the performance across 14 open-source and closed-source LLMs ranging from 160M to 671B on CellVerse. Remarkably, the experimental results reveal: (1) Existing specialist models (C2S-Pythia) fail to make reasonable decisions across all sub-tasks within CellVerse, while generalist models such as Qwen, Llama, GPT, and DeepSeek family models exhibit preliminary understanding capabilities within the realm of cell biology. (2) The performance of current LLMs falls short of expectations and has substantial room for improvement. Notably, in the widely studied drug response prediction task, none of the evaluated LLMs demonstrate significant performance improvement over random guessing. CellVerse offers the first large-scale empirical demonstration that significant challenges still remain in applying LLMs to cell biology. By introducing CellVerse, we lay the foundation for advancing cell biology through natural languages and hope this paradigm could facilitate next-generation single-cell analysis.