Improving Inverse Folding for Peptide Design with Diversity-regularized Direct Preference Optimization

📄 arXiv: 2410.19471v1 📥 PDF

作者: Ryan Park, Darren J. Hsu, C. Brian Roland, Maria Korshunova, Chen Tessler, Shie Mannor, Olivia Viessmann, Bruno Trentini

分类: cs.LG, cs.AI

发布日期: 2024-10-25

备注: Preprint. 10 pages plus appendices

💡 一句话要点

利用多样性正则化直接偏好优化改进肽设计的反向折叠

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 反向折叠 肽设计 直接偏好优化 多样性正则化 蛋白质工程

📋 核心要点

  1. 现有反向折叠模型在肽设计中易产生重复序列，导致无法正确折叠成目标结构。
  2. 论文提出基于直接偏好优化（DPO）的微调方法，并引入在线多样性正则化和领域特定先验。
  3. 实验表明，该方法显著提升了肽序列的多样性和结构相似性，优于基线模型。

📝 摘要（中文）

反向折叠模型在基于结构的蛋白质设计中发挥着重要作用，它能够预测折叠成所需参考结构的氨基酸序列。ProteinMPNN等模型，作为一种消息传递编码器-解码器模型，经过训练可以可靠地从参考结构中生成新的序列。然而，当应用于肽时，这些模型容易生成不折叠成参考结构的重复序列。为了解决这个问题，我们通过直接偏好优化（DPO）对ProteinMPNN进行微调，以生成多样且结构一致的肽序列。我们为DPO推导了两个增强方法：在线多样性正则化和领域特定先验。此外，我们对改进解码器模型中的多样性有了新的理解。当以OpenFold生成的结构为条件时，我们微调后的模型实现了最先进的结构相似性分数，比基础ProteinMPNN提高了至少8%。与标准DPO相比，我们的正则化方法实现了高达20%的序列多样性提升，且没有损失结构相似性分数。

🔬 方法详解

问题定义：论文旨在解决反向折叠模型在肽设计中生成重复序列的问题。现有模型如ProteinMPNN在应用于肽时，容易产生结构不一致的重复序列，限制了其在肽设计领域的应用。

核心思路：论文的核心思路是通过直接偏好优化（DPO）微调ProteinMPNN，并引入多样性正则化和领域特定先验，从而在生成序列时鼓励多样性，同时保持与目标结构的相似性。这样设计的目的是为了克服现有模型在肽设计中生成重复序列的缺陷。

技术框架：整体框架包括以下几个主要步骤：1) 使用OpenFold生成肽的结构；2) 使用ProteinMPNN作为基础模型；3) 使用DPO进行微调，其中DPO的目标是优化一个策略，使其生成的序列比其他序列更符合人类偏好（在本例中，偏好由结构相似性定义）；4) 在DPO过程中，引入在线多样性正则化，鼓励生成更多样化的序列；5) 应用领域特定先验，例如氨基酸频率等，进一步引导序列生成。

关键创新：论文的关键创新在于：1) 将DPO应用于反向折叠任务，并针对肽设计进行了优化；2) 提出了在线多样性正则化方法，能够在DPO训练过程中动态调整多样性；3) 引入了领域特定先验，利用了肽序列的先验知识。这些创新使得模型能够生成更具多样性且结构更准确的肽序列。

关键设计：在线多样性正则化通过在DPO损失函数中添加一个正则化项来实现，该正则化项惩罚生成序列之间的相似性。领域特定先验则通过修改DPO的目标函数来实现，使得模型更倾向于生成符合先验分布的序列。具体的损失函数形式和参数设置在论文中有详细描述，但摘要中未明确给出具体公式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在OpenFold生成的结构上，结构相似性分数比基础ProteinMPNN提高了至少8%，达到了最先进水平。与标准DPO相比，该正则化方法在不损失结构相似性的前提下，序列多样性提高了高达20%。这些数据表明，该方法在提高肽序列设计的多样性和准确性方面具有显著优势。

🎯 应用场景

该研究成果可应用于药物设计、生物材料开发等领域。通过生成具有特定结构和功能的肽序列，可以加速新药的发现和生物活性材料的研发。未来，该方法有望扩展到更大规模的蛋白质设计，为生物工程和合成生物学提供更强大的工具。

📄 摘要（原文）

Inverse folding models play an important role in structure-based design by predicting amino acid sequences that fold into desired reference structures. Models like ProteinMPNN, a message-passing encoder-decoder model, are trained to reliably produce new sequences from a reference structure. However, when applied to peptides, these models are prone to generating repetitive sequences that do not fold into the reference structure. To address this, we fine-tune ProteinMPNN to produce diverse and structurally consistent peptide sequences via Direct Preference Optimization (DPO). We derive two enhancements to DPO: online diversity regularization and domain-specific priors. Additionally, we develop a new understanding on improving diversity in decoder models. When conditioned on OpenFold generated structures, our fine-tuned models achieve state-of-the-art structural similarity scores, improving base ProteinMPNN by at least 8%. Compared to standard DPO, our regularized method achieves up to 20% higher sequence diversity with no loss in structural similarity score.