Cross-Slice Knowledge Transfer via Masked Multi-Modal Heterogeneous Graph Contrastive Learning for Spatial Gene Expression Inference

📄 arXiv: 2603.22821v1 📥 PDF

作者: Zhiceng Shi, Changmiao Wang, Jun Wan, Wenwen Min

分类: cs.CV

发布日期: 2026-03-24

备注: Accepted by CVPR-2026

💡 一句话要点

提出SpaHGC模型，通过跨切片知识迁移提升空间基因表达推断精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间转录组学 基因表达推断 多模态学习 异构图 对比学习 跨切片知识迁移 病理图像分析

📋 核心要点

  1. 现有空间转录组学预测方法难以有效捕捉跨切片间的复杂空间关系，限制了预测精度。
  2. SpaHGC模型通过构建多模态异构图，整合切片内局部信息和跨切片相似性，实现知识迁移。
  3. 实验结果表明，SpaHGC在多个数据集上显著优于现有方法，并在癌症相关通路中富集。

📝 摘要（中文）

空间转录组学(ST)技术的发展促进了我们对组织环境中基因表达的理解，但其高昂的实验成本限制了大规模应用。从病理图像预测ST是一种有前景且经济高效的替代方案，但现有方法难以捕捉复杂的跨切片空间关系。为了解决这一挑战，我们提出了一种基于多模态异构图的SpaHGC模型，该模型可以从组织学图像中捕获切片内和切片间的点-点关系。它整合了目标切片内的局部空间上下文和从病理学基础模型提取的图像嵌入计算出的跨切片相似性。这些嵌入实现了跨切片知识转移，SpaHGC进一步结合了掩码图对比学习，以增强特征表示并将空间基因表达知识从参考切片转移到目标切片，从而能够对复杂的空间依赖性进行建模并显著提高预测精度。我们在来自不同平台、组织和癌症亚型的七个匹配的组织学-ST数据集上进行了全面的基准测试。结果表明，SpaHGC在所有评估指标上均显著优于现有的九种最先进的方法。此外，预测结果在多个癌症相关通路中显著富集，从而突出了其强大的生物学相关性和应用潜力。

🔬 方法详解

问题定义：现有方法在从病理图像推断空间基因表达时，难以有效捕捉跨切片之间的复杂空间依赖关系。这导致模型无法充分利用不同切片的信息，从而限制了预测精度。现有方法通常只关注单个切片内的信息，忽略了不同切片之间可能存在的相似性和关联性。

核心思路：SpaHGC的核心思路是通过构建多模态异构图来同时建模切片内和切片间的空间关系。利用病理学基础模型提取的图像嵌入来计算跨切片相似性，从而实现知识迁移。通过掩码图对比学习，增强特征表示，使模型能够更好地学习和利用空间基因表达知识。

技术框架：SpaHGC的整体框架包括以下几个主要模块：1) 病理图像嵌入提取：使用预训练的病理学基础模型提取每个切片的图像嵌入。2) 多模态异构图构建：构建包含切片内和切片间关系的异构图，其中节点代表空间点，边代表空间关系或相似性。3) 掩码图对比学习：通过掩码节点和对比学习，增强节点特征表示，学习空间基因表达知识。4) 基因表达预测：利用学习到的节点特征预测每个空间点的基因表达谱。

关键创新：SpaHGC的关键创新在于：1) 提出了基于多模态异构图的跨切片知识迁移方法，能够有效利用不同切片的信息。2) 引入了掩码图对比学习，增强了特征表示，提高了预测精度。3) 利用病理学基础模型提取图像嵌入，为跨切片相似性计算提供了有效的基础。与现有方法相比，SpaHGC能够更好地建模复杂的空间依赖关系，从而显著提高预测精度。

关键设计：在多模态异构图构建中，使用了不同的边类型来表示切片内和切片间的关系。切片内关系基于空间距离计算，切片间关系基于图像嵌入的相似性计算。掩码图对比学习中，使用了随机掩码策略来增强模型的鲁棒性。损失函数包括对比损失和基因表达预测损失，共同优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SpaHGC在七个匹配的组织学-ST数据集上进行了全面评估，结果表明其在所有评估指标上均显著优于九种最先进的方法。预测结果在多个癌症相关通路中显著富集，表明其具有强大的生物学相关性和应用潜力。具体性能提升数据未知，但摘要强调了“显著优于”和“显著富集”。

🎯 应用场景

该研究成果可应用于多种场景，例如：降低空间转录组学实验成本，加速药物研发，辅助癌症诊断和预后评估，以及深入理解肿瘤微环境。通过从病理图像预测空间基因表达，可以大规模地研究基因表达与组织结构之间的关系，从而为生物医学研究提供新的视角和工具。未来，该方法有望与其他组学数据结合，实现更全面的生物学分析。

📄 摘要（原文）

While spatial transcriptomics (ST) has advanced our understanding of gene expression in tissue context, its high experimental cost limits its large-scale application. Predicting ST from pathology images is a promising, cost-effective alternative, but existing methods struggle to capture complex cross-slide spatial relationships. To address the challenge, we propose SpaHGC, a multi-modal heterogeneous graph-based model that captures both intra-slice and inter-slice spot-spot relationships from histology images. It integrates local spatial context within the target slide and cross-slide similarities computed from image embeddings extracted by a pathology foundation model. These embeddings enable inter-slice knowledge transfer, and SpaHGC further incorporates Masked Graph Contrastive Learning to enhance feature representation and transfer spatial gene expression knowledge from reference to target slides, enabling it to model complex spatial dependencies and significantly improve prediction accuracy. We conducted comprehensive benchmarking on seven matched histology-ST datasets from different platforms, tissues, and cancer subtypes. The results demonstrate that SpaHGC significantly outperforms the existing nine state-of-the-art methods across all evaluation metrics. Additionally, the predictions are significantly enriched in multiple cancer-related pathways, thereby highlighting its strong biological relevance and application potential.