PharMolixFM: All-Atom Foundation Models for Molecular Modeling and Generation

📄 arXiv: 2503.21788v3 📥 PDF

作者: Yizhen Luo, Jiashuo Wang, Siqi Fan, Zaiqing Nie

分类: q-bio.BM, cs.LG

发布日期: 2025-03-12 (更新: 2025-04-01)

🔗 代码/项目: GITHUB

💡 一句话要点

PharMolixFM：用于分子建模和生成的全原子基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分子建模 生成模型 多模态学习 扩散模型 蛋白质-小分子对接 药物发现 全原子模型

📋 核心要点

  1. 现有分子建模方法在原子数据多模态性和训练采样策略分析不足的情况下，泛化能力受限。
  2. PharMolixFM通过多模态生成技术构建统一的全原子基础模型，将分子任务视为广义去噪过程。
  3. 实验表明，PharMolixFM-Diff在蛋白质-小分子对接中精度具有竞争力，且推理速度显著提升。

📝 摘要（中文）

结构生物学依赖于精确的三维生物分子结构，以促进我们对生物功能、疾病机制和治疗方法的理解。虽然深度学习的最新进展已经推动了用于分子建模和生成的全原子基础模型的发展，但由于原子数据的多模态性质以及对训练和采样策略缺乏全面的分析，现有方法在泛化方面面临挑战。为了解决这些局限性，我们提出了PharMolixFM，一个基于多模态生成技术的统一框架，用于构建全原子基础模型。我们的框架包括使用最先进的多模态生成模型的三个变体。通过将分子任务表述为具有任务特定先验的广义去噪过程，PharMolixFM在各种结构生物学应用中实现了稳健的性能。实验结果表明，PharMolixFM-Diff在蛋白质-小分子对接中实现了具有竞争力的预测精度（给定口袋时，RMSD < 2Å的比例为83.9% vs. 90.2%），并且显著提高了推理速度。此外，我们通过引入更多的采样重复或步骤来探索经验推理缩放定律。我们的代码和模型可在https://github.com/PharMolix/OpenBioMed获取。

🔬 方法详解

问题定义：论文旨在解决现有分子建模方法在泛化能力上的不足，尤其是在处理原子数据的多模态性质以及缺乏对训练和采样策略的全面分析时。现有方法难以在各种结构生物学应用中保持稳健的性能，并且推理速度可能较慢。

核心思路：论文的核心思路是将分子建模任务表述为一个广义的去噪过程，并利用多模态生成模型来学习原子数据的分布。通过引入任务特定的先验知识，可以引导模型生成更符合生物学规律的分子结构。这种方法旨在提高模型的泛化能力和预测精度。

技术框架：PharMolixFM框架包含三个变体，每个变体都使用最先进的多模态生成模型。整体流程包括：1) 数据预处理，将分子结构转换为模型可处理的格式；2) 模型训练，使用大规模分子数据集训练多模态生成模型；3) 推理，将分子建模任务表述为去噪过程，并使用训练好的模型生成分子结构。框架允许根据具体任务定制先验知识，以提高性能。

关键创新：该论文的关键创新在于将分子建模任务统一到一个基于多模态生成模型的广义去噪框架中。这种方法能够有效地利用原子数据的多模态信息，并结合任务特定的先验知识，从而提高模型的泛化能力和预测精度。与现有方法相比，PharMolixFM提供了一个更加灵活和通用的解决方案。

关键设计：论文中使用了扩散模型（PharMolixFM-Diff）作为多模态生成模型的一种变体。关键设计包括：1) 损失函数的设计，用于衡量生成分子结构与真实结构之间的差异；2) 采样策略的选择，用于控制生成分子结构的多样性和质量；3) 网络结构的设计，用于有效地学习原子数据的分布。此外，论文还探索了通过增加采样重复或步骤来提高推理性能的经验缩放定律。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PharMolixFM-Diff在蛋白质-小分子对接任务中表现出色，在给定口袋的情况下，RMSD < 2Å的预测准确率达到83.9%，与现有方法（90.2%）相比具有竞争力，并且显著提高了推理速度。此外，论文还通过实验验证了增加采样重复或步骤可以提高推理性能的经验缩放定律。

🎯 应用场景

PharMolixFM具有广泛的应用前景，包括药物发现、蛋白质工程、材料科学等领域。它可以用于预测蛋白质-小分子相互作用、设计新型蛋白质、生成具有特定性质的分子。该研究的实际价值在于加速药物研发过程、降低研发成本，并为开发新的生物材料提供理论指导。未来，该模型有望成为生物医药领域的重要工具。

📄 摘要（原文）

Structural biology relies on accurate three-dimensional biomolecular structures to advance our understanding of biological functions, disease mechanisms, and therapeutics. While recent advances in deep learning have enabled the development of all-atom foundation models for molecular modeling and generation, existing approaches face challenges in generalization due to the multi-modal nature of atomic data and the lack of comprehensive analysis of training and sampling strategies. To address these limitations, we propose PharMolixFM, a unified framework for constructing all-atom foundation models based on multi-modal generative techniques. Our framework includes three variants using state-of-the-art multi-modal generative models. By formulating molecular tasks as a generalized denoising process with task-specific priors, PharMolixFM achieves robust performance across various structural biology applications. Experimental results demonstrate that PharMolixFM-Diff achieves competitive prediction accuracy in protein-small-molecule docking (83.9% vs. 90.2% RMSD < 2Å, given pocket) with significantly improved inference speed. Moreover, we explore the empirical inference scaling law by introducing more sampling repeats or steps. Our code and model are available at https://github.com/PharMolix/OpenBioMed.