Multi-modal Transfer Learning between Biological Foundation Models

📄 arXiv: 2406.14150v1 📥 PDF

作者: Juan Jose Garau-Luis, Patrick Bordes, Liam Gonzalez, Masa Roller, Bernardo P. de Almeida, Lorenz Hexemer, Christopher Blum, Stefan Laurent, Jan Grzegorzewski, Maren Lang, Thomas Pierrot, Guillaume Richard

分类: cs.LG

发布日期: 2024-06-20

💡 一句话要点

提出IsoFormer，利用多模态生物序列信息预测RNA转录异构体表达水平。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 生物序列建模 RNA转录异构体 基因表达预测 知识迁移

📋 核心要点

  1. 现有生物序列建模方法通常局限于单一模态，无法有效处理基因组学中涉及多种模态的关键问题。
  2. IsoFormer模型通过整合来自DNA、RNA和蛋白质等不同模态的预训练编码器信息，实现多模态生物序列的连接。
  3. 实验表明，IsoFormer在预测RNA转录异构体表达水平方面优于现有方法，并实现了有效的知识转移。

📝 摘要（中文）

生物序列以DNA、RNA和蛋白质的形式编码了生命构建块的基本指令。对这些序列进行建模是理解疾病机制的关键，也是计算生物学中一个活跃的研究领域。最近，大型语言模型在解决某些生物任务方面显示出巨大的潜力，但目前的方法仅限于单一序列模态（DNA、RNA或蛋白质）。基因组学的关键问题本质上涉及多种模态，但如何将通用序列模型应用于这些情况仍不清楚。在这项工作中，我们提出了一个多模态模型，通过利用来自不同预训练的模态特定编码器的信息来连接DNA、RNA和蛋白质。我们通过将其应用于预测多个RNA转录异构体如何源自同一基因（即同一DNA序列）并映射到各种人类组织中不同的转录表达水平这一在很大程度上尚未解决的问题，来证明其能力。我们表明，我们的模型IsoFormer能够准确预测差异转录表达，优于现有方法，并利用了多种模态的使用。我们的框架还实现了来自编码器预训练以及模态之间的有效知识转移。我们开源了我们的模型，为新的多模态基因表达方法铺平了道路。

🔬 方法详解

问题定义：论文旨在解决如何利用多模态生物序列信息（DNA、RNA、蛋白质）来更准确地预测RNA转录异构体的表达水平。现有方法通常只关注单一模态，忽略了不同模态之间的关联，导致预测精度受限。现有方法难以有效利用不同模态之间的互补信息，无法充分挖掘生物序列的复杂关系。

核心思路：论文的核心思路是构建一个多模态模型，该模型能够整合来自不同模态的预训练编码器的信息，从而实现跨模态的知识转移和信息融合。通过将不同模态的信息映射到统一的表示空间，模型可以更好地理解生物序列的复杂关系，并提高预测精度。

技术框架：IsoFormer模型的整体架构包括以下几个主要模块：1) 模态特定编码器：使用预训练的语言模型（例如，Transformer）对DNA、RNA和蛋白质序列进行编码，提取各自的特征表示。2) 多模态融合模块：将不同模态的特征表示进行融合，例如使用注意力机制或拼接操作，得到一个统一的多模态表示。3) 预测模块：基于多模态表示，预测RNA转录异构体的表达水平。

关键创新：IsoFormer的关键创新在于其多模态融合策略，能够有效地整合来自不同模态的信息，并实现跨模态的知识转移。该模型能够利用预训练的模态特定编码器，从而减少了训练数据需求，并提高了模型的泛化能力。此外，IsoFormer还能够学习不同模态之间的关联，从而更好地理解生物序列的复杂关系。

关键设计：IsoFormer的关键设计包括：1) 使用预训练的Transformer模型作为模态特定编码器，以充分利用大规模生物序列数据。2) 使用注意力机制进行多模态融合，以动态地调整不同模态的权重。3) 使用回归损失函数来训练预测模块，以最小化预测值与真实值之间的差异。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IsoFormer在预测RNA转录异构体表达水平的任务中，显著优于现有方法。实验结果表明，IsoFormer能够准确预测差异转录表达，并实现了来自编码器预训练以及模态之间的有效知识转移。具体的性能提升幅度在论文中有详细的量化数据。

🎯 应用场景

IsoFormer模型在基因表达调控、疾病机制研究和药物开发等领域具有广泛的应用前景。通过准确预测RNA转录异构体的表达水平，可以帮助研究人员更好地理解基因表达的调控机制，从而为疾病的诊断和治疗提供新的思路。此外，该模型还可以用于预测药物对基因表达的影响，从而加速药物开发过程。

📄 摘要（原文）

Biological sequences encode fundamental instructions for the building blocks of life, in the form of DNA, RNA, and proteins. Modeling these sequences is key to understand disease mechanisms and is an active research area in computational biology. Recently, Large Language Models have shown great promise in solving certain biological tasks but current approaches are limited to a single sequence modality (DNA, RNA, or protein). Key problems in genomics intrinsically involve multiple modalities, but it remains unclear how to adapt general-purpose sequence models to those cases. In this work we propose a multi-modal model that connects DNA, RNA, and proteins by leveraging information from different pre-trained modality-specific encoders. We demonstrate its capabilities by applying it to the largely unsolved problem of predicting how multiple RNA transcript isoforms originate from the same gene (i.e. same DNA sequence) and map to different transcription expression levels across various human tissues. We show that our model, dubbed IsoFormer, is able to accurately predict differential transcript expression, outperforming existing methods and leveraging the use of multiple modalities. Our framework also achieves efficient transfer knowledge from the encoders pre-training as well as in between modalities. We open-source our model, paving the way for new multi-modal gene expression approaches.