Teaching pathology foundation models to accurately predict gene expression with parameter efficient knowledge transfer

📄 arXiv: 2504.07061v1 📥 PDF

作者: Shi Pan, Jianan Chen, Maria Secrier

分类: cs.CV

发布日期: 2025-04-09

💡 一句话要点

提出PEKA框架，通过参数高效的知识迁移，提升病理图像基因表达预测精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理图像分析 基因表达预测 知识迁移 参数高效微调 多模态学习

📋 核心要点

  1. 现有方法在病理图像基因表达预测中，图像基础模型性能受限，且微调成本高昂。
  2. PEKA框架利用块仿射适应，结合知识蒸馏和结构对齐损失，实现跨模态知识迁移。
  3. 实验结果表明，PEKA在基因表达预测中，性能优于基线模型和其它参数高效微调策略，提升至少5%。

📝 摘要（中文）

基因表达谱分析为理解细胞异质性、生物过程和疾病机制提供了关键见解。计算方法直接从数字化组织病理学图像预测基因表达越来越受到关注。虽然图像基础模型在各种病理下游分析中显示出潜力，但它们在基因表达预测方面的性能仍然有限。显式地结合转录组模型的信息可以帮助图像模型解决领域偏移，但基础模型的微调和对齐成本可能很高。本文提出了参数高效知识迁移（PEKA），这是一个新颖的框架，它利用块仿射适应，并整合知识蒸馏和结构对齐损失来实现跨模态知识迁移。我们使用包含各种组织类型的多个空间转录组数据集（包含206,123个带有匹配基因表达谱的图像切片）评估了PEKA用于基因表达预测的性能。PEKA实现了比基线基础模型至少5%的性能提升，同时也优于其他参数高效的微调策略。我们将在同行评审后发布代码、数据集和对齐模型，以促进更广泛的应用和参数高效模型对齐的进一步发展。

🔬 方法详解

问题定义：论文旨在解决病理图像基因表达预测精度不足的问题。现有方法依赖图像基础模型，但其在基因表达预测任务上的性能有限。直接微调大型基础模型成本高昂，且容易过拟合。因此，如何高效地利用转录组信息来提升图像模型的预测能力是一个挑战。

核心思路：论文的核心思路是通过参数高效的知识迁移，将转录组模型的知识迁移到图像模型中，从而提升图像模型在基因表达预测任务上的性能。通过知识蒸馏和结构对齐，使图像模型学习到转录组模型的表达模式，同时避免了对整个图像基础模型进行微调，降低了计算成本。

技术框架：PEKA框架主要包含以下几个模块：1) 图像编码器：使用预训练的图像基础模型提取图像特征。2) 转录组编码器：使用预训练的转录组模型提取基因表达谱特征。3) 块仿射适应（Block-Affine Adaptation）：用于对齐图像特征和转录组特征的分布。4) 知识蒸馏：利用转录组模型的预测结果作为“教师”，指导图像模型的学习。5) 结构对齐：通过损失函数，使图像模型的特征表示与转录组模型的特征表示在结构上保持一致。

关键创新：PEKA的关键创新在于参数高效的知识迁移策略。它避免了对整个图像基础模型进行微调，而是通过块仿射适应和知识蒸馏，将转录组模型的知识迁移到图像模型中。此外，结构对齐损失的引入，进一步提升了跨模态特征的对齐效果。

关键设计：块仿射适应模块通过学习仿射变换参数，对图像特征进行调整，使其与转录组特征的分布更加接近。知识蒸馏损失采用KL散度，衡量图像模型的预测结果与转录组模型预测结果之间的差异。结构对齐损失通过计算图像特征和转录组特征之间的相关性矩阵，并最小化它们之间的差异，实现结构对齐。具体的参数设置和网络结构细节将在论文的实验部分详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PEKA框架在多个空间转录组数据集上实现了显著的性能提升，相较于基线基础模型，基因表达预测精度提升至少5%。同时，PEKA的性能也优于其他参数高效的微调策略，证明了其在知识迁移方面的有效性。这些结果表明，PEKA是一种有前景的病理图像基因表达预测方法。

🎯 应用场景

该研究成果可应用于癌症诊断、预后预测和药物研发等领域。通过准确预测基因表达，可以更深入地理解肿瘤的生物学特性，为临床决策提供更可靠的依据。此外，该方法还可以扩展到其他多模态数据融合任务，例如结合基因组学、蛋白质组学和影像学数据，实现更全面的疾病分析。

📄 摘要（原文）

Gene expression profiling provides critical insights into cellular heterogeneity, biological processes and disease mechanisms. There has been an increasing interest in computational approaches that can predict gene expression directly from digitalized histopathology images. While image foundation models have shown promise in a variety of pathology downstream analysis, their performances on gene-expression prediction are still limited. Explicitly incorporating information from the transcriptomic models can help image models to address domain shift, yet the fine-tuning and alignment of foundation models can be expensive. In the work, we propose Parameter Efficient Knowledge trAnsfer (PEKA), a novel framework that leverages Block-Affine Adaptation and integrates knowledge distillation and structure alignment losses for cross-modal knowledge transfer. We evaluated PEKA for gene expression prediction using multiple spatial transcriptomics datasets (comprising 206,123 image tiles with matched gene expression profiles) that encompassed various types of tissue. PEKA achieved at least 5\% performance improvement over baseline foundation models while also outperforming alternative parameter-efficient fine-tuning strategies. We will release the code, datasets and aligned models after peer-review to facilitate broader adoption and further development for parameter efficient model alignment.