Decomposed Direct Preference Optimization for Structure-Based Drug Design

📄 arXiv: 2407.13981v2 📥 PDF

作者: Xiwei Cheng, Xiangxin Zhou, Yuwei Yang, Yu Bao, Quanquan Gu

分类: q-bio.BM, cs.LG

发布日期: 2024-07-19 (更新: 2024-10-28)

💡 一句话要点

提出DecompDPO，利用多粒度偏好优化结构药物设计扩散模型。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 结构药物设计 扩散模型 直接偏好优化 分子生成 分子优化 多粒度学习 药物发现

📋 核心要点

  1. 高质量蛋白质亚口袋和配体数据的稀缺性限制了基于扩散模型的结构药物设计。
  2. DecompDPO通过引入分解策略，利用分子或子结构级别的多粒度偏好对来优化扩散模型。
  3. 实验表明，DecompDPO在分子生成和优化方面均显著提升了模型性能，尤其是在亲和力预测方面。

📝 摘要（中文）

扩散模型在基于结构的药物设计(SBDD)中取得了可喜的成果。然而，高质量的蛋白质亚口袋和配体数据相对稀缺，这阻碍了模型的生成能力。最近，直接偏好优化(DPO)已成为使生成模型与人类偏好对齐的关键工具。本文提出DecompDPO，一种基于结构的优化方法，利用多粒度偏好对，使扩散模型与药物需求对齐。DecompDPO将分解引入优化目标，并基于每个目标的可分解性，在分子或分解的子结构级别获得偏好对。此外，DecompDPO引入了一个物理信息能量项，以确保优化结果中合理的分子构象。值得注意的是，DecompDPO可以有效地用于两个主要目的：(1)微调预训练的扩散模型，用于跨各种蛋白质家族的分子生成，以及(2)在生成后，针对特定蛋白质亚口袋的分子优化。在CrossDocked2020基准上的大量实验表明，DecompDPO显著提高了模型性能，在分子生成方面达到了高达95.2%的中高亲和力，以及36.2%的成功率，在分子优化方面达到了100%的中高亲和力，以及52.1%的成功率。

🔬 方法详解

问题定义：论文旨在解决基于结构的药物设计中，由于高质量蛋白质亚口袋和配体数据稀缺，导致扩散模型生成能力受限的问题。现有方法难以有效利用有限的数据，并且可能生成不合理的分子构象。

核心思路：论文的核心思路是将直接偏好优化(DPO)与分解策略相结合，利用多粒度偏好对（分子级别和子结构级别）来指导扩散模型的训练。通过分解优化目标，可以更有效地利用数据，并引入物理信息能量项来约束分子构象。

技术框架：DecompDPO的整体框架包括以下几个主要步骤：1)预训练扩散模型；2)定义多粒度偏好目标，包括分子级别的整体性质和子结构级别的特定性质；3)基于分解的优化目标，构建偏好对；4)利用DPO算法，根据偏好对微调扩散模型；5)引入物理信息能量项，对生成的分子构象进行约束。

关键创新：DecompDPO的关键创新在于：1)将分解策略引入DPO框架，实现了多粒度偏好优化；2)提出了基于分子和子结构的偏好对构建方法，更有效地利用了数据；3)引入物理信息能量项，保证了生成分子的合理构象。与现有方法相比，DecompDPO能够更好地利用有限的数据，生成更符合药物设计需求的分子。

关键设计：DecompDPO的关键设计包括：1)偏好目标的分解方式，需要根据具体的药物设计任务进行选择；2)物理信息能量项的具体形式，例如可以使用分子力场计算能量；3)DPO算法的参数设置，例如学习率、batch size等。论文中具体使用了CrossDocked2020数据集进行实验，并针对该数据集进行了参数调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DecompDPO在CrossDocked2020基准测试中表现出色。在分子生成方面，DecompDPO达到了95.2%的中高亲和力，以及36.2%的成功率。在分子优化方面，DecompDPO达到了100%的中高亲和力，以及52.1%的成功率。这些结果表明，DecompDPO能够显著提高扩散模型在结构药物设计中的性能。

🎯 应用场景

DecompDPO可应用于药物发现的多个阶段，包括先导化合物的发现、先导化合物的优化以及药物重定位。该方法能够加速药物研发进程，降低研发成本，并有望发现更有效、更安全的候选药物。未来，DecompDPO可以与其他计算方法（如分子对接、分子动力学模拟）相结合，进一步提高药物设计的效率和准确性。

📄 摘要（原文）

Diffusion models have achieved promising results for Structure-Based Drug Design (SBDD). Nevertheless, high-quality protein subpocket and ligand data are relatively scarce, which hinders the models' generation capabilities. Recently, Direct Preference Optimization (DPO) has emerged as a pivotal tool for aligning generative models with human preferences. In this paper, we propose DecompDPO, a structure-based optimization method aligns diffusion models with pharmaceutical needs using multi-granularity preference pairs. DecompDPO introduces decomposition into the optimization objectives and obtains preference pairs at the molecule or decomposed substructure level based on each objective's decomposability. Additionally, DecompDPO introduces a physics-informed energy term to ensure reasonable molecular conformations in the optimization results. Notably, DecompDPO can be effectively used for two main purposes: (1) fine-tuning pretrained diffusion models for molecule generation across various protein families, and (2) molecular optimization given a specific protein subpocket after generation. Extensive experiments on the CrossDocked2020 benchmark show that DecompDPO significantly improves model performance, achieving up to 95.2% Med. High Affinity and a 36.2% success rate for molecule generation, and 100% Med. High Affinity and a 52.1% success rate for molecular optimization.