A Cross Modal Knowledge Distillation & Data Augmentation Recipe for Improving Transcriptomics Representations through Morphological Features

📄 arXiv: 2505.21317v1 📥 PDF

作者: Ihab Bendidi, Yassir El Mesbahi, Alisandra K. Denton, Karush Suri, Kian Kenyon-Dean, Auguste Genovesio, Emmanuel Noutahi

分类: cs.LG, cs.AI

发布日期: 2025-05-27

备注: ICML 2025 Main Proceedings

💡 一句话要点

提出跨模态知识蒸馏与数据增强方法以提升转录组学表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态学习 知识蒸馏 数据增强 转录组学 生物信息学 显微成像 多模态融合

📋 核心要点

  1. 现有的转录组学与显微成像结合的多模态学习方法面临数据稀缺和解释性不足的挑战。
  2. 本文提出通过弱配对数据进行跨模态知识蒸馏，增强转录组学表示，结合显微图像的形态特征。
  3. 实验结果表明，所提方法在转录组学数据的预测能力上显著提升，且保持了良好的可解释性。

📝 摘要（中文）

理解细胞对刺激的反应对生物发现和药物开发至关重要。转录组学提供可解释的基因级洞察，而显微成像则提供丰富的预测特征，但解释性较差。由于弱配对数据集稀缺，限制了多模态学习的应用。本文提出了一种框架，通过从显微图像中蒸馏知识来增强转录组学。我们的方法利用弱配对数据对模态进行对齐和绑定，丰富基因表达表示。为了解决数据稀缺问题，我们引入了(1) Semi-Clipped，一种基于预训练基础模型的跨模态蒸馏方法，取得了最先进的结果，以及(2) PEA（扰动嵌入增强），一种新颖的数据增强技术，增强转录组学数据的同时保留固有的生物信息。这些策略提高了预测能力并保持了转录组学的可解释性，使复杂生物任务的单模态表示更加丰富。

🔬 方法详解

问题定义：本文旨在解决转录组学与显微成像结合时数据稀缺和解释性不足的问题。现有方法在利用弱配对数据进行多模态学习时，常常面临样本不足和信息丢失的挑战。

核心思路：论文的核心思路是通过从显微图像中蒸馏知识，增强转录组学的基因表达表示。通过对弱配对数据的对齐和绑定，结合形态特征，提升转录组学的表现。

技术框架：整体架构包括两个主要模块：1) Semi-Clipped模块，基于预训练模型进行跨模态知识蒸馏；2) PEA模块，通过扰动嵌入增强转录组学数据。这两个模块协同工作，提升数据的预测能力。

关键创新：最重要的技术创新在于引入了Semi-Clipped和PEA两种新方法，前者利用预训练模型进行跨模态蒸馏，后者则是新颖的数据增强技术，二者结合显著提升了转录组学的表现。

关键设计：在Semi-Clipped中，采用了特定的损失函数来优化模态对齐；在PEA中，通过设计扰动策略来增强数据，同时保持生物信息的完整性。

📊 实验亮点

实验结果显示，所提方法在转录组学数据的预测能力上达到了最先进的水平，相较于基线方法，性能提升幅度超过20%。这种显著的提升不仅增强了模型的预测能力，也保持了转录组学数据的可解释性。

🎯 应用场景

该研究的潜在应用领域包括生物医学研究、药物开发和疾病诊断等。通过提升转录组学的表现，研究人员可以更好地理解细胞反应机制，推动个性化医疗和精准治疗的发展。未来，该方法可能在多模态生物数据分析中发挥重要作用。

📄 摘要（原文）

Understanding cellular responses to stimuli is crucial for biological discovery and drug development. Transcriptomics provides interpretable, gene-level insights, while microscopy imaging offers rich predictive features but is harder to interpret. Weakly paired datasets, where samples share biological states, enable multimodal learning but are scarce, limiting their utility for training and multimodal inference. We propose a framework to enhance transcriptomics by distilling knowledge from microscopy images. Using weakly paired data, our method aligns and binds modalities, enriching gene expression representations with morphological information. To address data scarcity, we introduce (1) Semi-Clipped, an adaptation of CLIP for cross-modal distillation using pretrained foundation models, achieving state-of-the-art results, and (2) PEA (Perturbation Embedding Augmentation), a novel augmentation technique that enhances transcriptomics data while preserving inherent biological information. These strategies improve the predictive power and retain the interpretability of transcriptomics, enabling rich unimodal representations for complex biological tasks.