BioBridge: Bridging Biomedical Foundation Models via Knowledge Graphs

📄 arXiv: 2310.03320v4 📥 PDF

作者: Zifeng Wang, Zichen Wang, Balasubramaniam Srinivasan, Vassilis N. Ioannidis, Huzefa Rangwala, Rishita Anubhai

分类: cs.LG

发布日期: 2023-10-05 (更新: 2024-01-19)

备注: ICLR 2024

💡 一句话要点

提出BioBridge以解决生物医学单模态模型的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学 基础模型 多模态学习 知识图谱 跨模态检索 领域外泛化 新药研发

📋 核心要点

  1. 现有生物医学基础模型主要为单模态，无法有效整合不同类型的数据，限制了其应用范围。
  2. BioBridge通过知识图谱实现不同单模态模型之间的转换，无需对底层模型进行微调，从而实现多模态整合。
  3. 实验结果显示，BioBridge在跨模态检索任务中表现优异，平均提升约76.3%，并具备领域外泛化能力。

📝 摘要（中文）

基础模型（FMs）能够利用大量未标记数据在多种任务中表现出色。然而，针对生物医学领域的FMs大多是单模态的，即仅独立训练并用于蛋白质序列、小分子结构或临床数据等任务。为了解决这一局限性，本文提出了BioBridge，一个新颖的参数高效学习框架，通过知识图谱（KG）将独立训练的单模态FMs连接起来，实现多模态行为。实验证明，BioBridge在跨模态检索任务中平均超越最佳基线KG嵌入方法约76.3%。此外，BioBridge还展示了在未见模态或关系上的领域外泛化能力，并作为通用检索器，助力生物医学多模态问答及新药的引导生成。

🔬 方法详解

问题定义：本文旨在解决生物医学领域单模态基础模型的局限性，现有方法无法有效整合不同模态的数据，导致信息孤岛现象。

核心思路：BioBridge的核心思路是利用知识图谱（KG）在不同单模态基础模型之间建立联系，实现多模态行为，而无需对每个单模态模型进行微调。

技术框架：BioBridge的整体架构包括数据预处理、知识图谱构建、模态转换学习和多模态输出四个主要模块。通过构建KG，模型能够学习不同模态之间的关系和转换。

关键创新：BioBridge的主要创新在于其参数高效性和无微调的特性，使得不同单模态模型能够无缝连接，显著提升了多模态任务的性能。

关键设计：在设计上，BioBridge采用了特定的损失函数来优化模态转换的准确性，并通过调整KG的结构和参数设置来增强模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BioBridge在跨模态检索任务中表现突出，平均超越最佳基线KG嵌入方法约76.3%。此外，BioBridge展示了在未见模态或关系上的领域外泛化能力，证明其作为通用检索器的有效性。

🎯 应用场景

BioBridge的研究成果在生物医学领域具有广泛的应用潜力，能够有效整合不同类型的数据，提升多模态问答系统的性能，并在新药研发中提供更为精准的指导。未来，BioBridge可能会推动生物医学研究的跨学科合作，促进数据共享与整合。

📄 摘要（原文）

Foundation models (FMs) are able to leverage large volumes of unlabeled data to demonstrate superior performance across a wide range of tasks. However, FMs developed for biomedical domains have largely remained unimodal, i.e., independently trained and used for tasks on protein sequences alone, small molecule structures alone, or clinical data alone. To overcome this limitation of biomedical FMs, we present BioBridge, a novel parameter-efficient learning framework, to bridge independently trained unimodal FMs to establish multimodal behavior. BioBridge achieves it by utilizing Knowledge Graphs (KG) to learn transformations between one unimodal FM and another without fine-tuning any underlying unimodal FMs. Our empirical results demonstrate that BioBridge can beat the best baseline KG embedding methods (on average by around 76.3%) in cross-modal retrieval tasks. We also identify BioBridge demonstrates out-of-domain generalization ability by extrapolating to unseen modalities or relations. Additionally, we also show that BioBridge presents itself as a general purpose retriever that can aid biomedical multimodal question answering as well as enhance the guided generation of novel drugs.