VGL-stGen: Learning a shared multimodal model for lung histology and spatial transcriptomics
作者: Haenara Shin, Dongjoo Lee, Sungwoo Bae, Kwon Joong Na, Daeseung Lee, Hongyoon Choi
分类: cs.CV, cs.AI, q-bio.QM
发布日期: 2026-10-20
备注: 46 pages, 18 figures, 16 tables; appendix included
💡 一句话要点
提出VGL-stGen以解决肺组织学与空间转录组学的多模态学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 肺组织学 空间转录组学 医学影像分析 生成模型 细胞类型分类 基因预测 精准医学
📋 核心要点
- 现有方法在整合肺组织学与空间转录组学数据时存在信息孤岛，难以有效连接组织形态与分子状态。
- VGL-stGen通过多模态学习框架，结合图像与转录组数据，利用基因条件伪标签实现细胞类型的监督转移。
- 模型在十三项任务上表现优异，尤其在条件表达补全任务中，通过自回归预测显著提升了结构化表达的准确性。
📝 摘要（中文）
VGL-stGen是一个多模态大语言模型，基于预训练的医学视觉-语言模型，利用配对的肺组织H&E图像和空间转录组学数据进行适应性训练。该模型通过整合图像-表达和表达-细胞类型对，以及基因条件伪标签，将转录组细胞类型的监督信息转移到组织学图像中。模型支持十三项任务，包括组织和细胞类型分类、基因预测及条件表达补全，任务特定解码可生成分类标签、基因列表和结构化表达水平。通过固定查询的基因身份并自回归预测其水平，条件补全的效果得到了提升。实验表明，正确配对的组织学信息超越了观察到的表达，展示了医学视觉-语言模型如何通过共享生成建模连接组织形态与分子状态。
🔬 方法详解
问题定义：本论文旨在解决肺组织学与空间转录组学之间的多模态学习问题，现有方法往往无法有效整合这两种数据，导致信息孤立，影响对组织形态与分子状态的理解。
核心思路：VGL-stGen的核心思路是通过一个多模态大语言模型，利用配对的组织学图像和转录组数据，结合基因条件伪标签，实现细胞类型的监督转移，从而增强模型对组织形态与分子状态的学习能力。
技术框架：该模型的整体架构包括图像-表达和表达-细胞类型的对，训练过程中通过整合这些对来学习共享的生成模型。模型支持多种任务，包括细胞类型分类、基因预测等，任务特定的解码模块负责生成相应的输出。
关键创新：VGL-stGen的主要创新在于其通过共享生成建模的方式，将转录组学与组织学数据有效结合，突破了传统方法的信息孤立问题，能够更好地理解组织的分子特征与形态特征之间的关系。
关键设计：在模型设计中，采用了基因条件伪标签作为监督信号，并通过自回归方式进行条件表达补全，此外，实验中还进行了图像置换实验，以验证配对信息的重要性。
🖼️ 关键图片
📊 实验亮点
VGL-stGen在十三项任务中表现出色，尤其在条件表达补全任务中，通过自回归预测方法，显著提高了结构化表达的准确性。实验结果表明，模型在细胞类型分类和基因预测方面的性能优于现有基线，展示了多模态学习的强大潜力。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在医学影像分析、癌症研究和个性化医疗等领域。通过有效整合组织学与转录组学数据，VGL-stGen能够为疾病的早期诊断和治疗提供更为精准的分子基础，推动精准医学的发展。
📄 摘要（原文）
VGL-stGen is a multimodal large language model adapted from a pretrained medical vision-language model using paired lung H&E and spatial transcriptomics with single-cell references. Training integrates image-expression and expression-cell-type pairs, and gene-conditioned pseudo-labels transfer transcriptomic cell-type supervision to histology images. One deployed checkpoint supports thirteen evaluated tasks spanning tissue and cell-type classification, gene prediction and conditional expression completion from combinations of histology, cell identity and observed gene expression. Task-specific decoding produces categorical labels, gene lists and structured expression levels. For conditional completion, fixing queried gene identities and predicting their levels autoregressively improves structured prediction. Controlled adaptation shows that restricting supervision to requested expression-level tokens can further improve image-conditioned completion. Image-permutation experiments indicate that correctly paired histology adds information beyond observed expression. External classification relies partly on computational references with shared annotation lineage, and some H&E sources were exposed during cancer training or model development. Within these conditions, VGL-stGen demonstrates how a medical vision-language backbone can learn from spatial transcriptomics and histology to connect tissue morphology and molecular states through shared generative modeling.