DrugGen: Advancing Drug Discovery with Large Language Models and Reinforcement Learning Feedback

📄 arXiv: 2411.14157v1 📥 PDF

作者: Mahsa Sheikholeslami, Navid Mazrouei, Yousof Gheisari, Afshin Fasihi, Matin Irajpour, Ali Motahharynia

分类: q-bio.QM, cs.AI

发布日期: 2024-11-20

备注: 20 pages, 5 figures, 3 tables, and 7 supplementary files. To use the model, see https://huggingface.co/alimotahharynia/DrugGen

DOI: 10.1038/s41598-025-98629-1

💡 一句话要点

DrugGen：利用大语言模型和强化学习反馈加速药物发现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 药物发现 生成模型 强化学习 Transformer 蛋白质-配体结合 分子生成 药物设计

📋 核心要点

  1. 现有药物设计方法面临化学和生物复杂性挑战，导致临床试验高失败率，亟需高效的药物发现方法。
  2. DrugGen通过在已批准药物-靶标相互作用上微调DrugGPT，并结合强化学习反馈，优化生成分子的有效性和结合亲和力。
  3. 实验结果表明，DrugGen能100%生成有效结构，显著提高分子结合亲和力，并在对接模拟中表现出优异的靶向能力。

📝 摘要（中文）

传统的药物设计由于其固有的化学和生物复杂性而面临重大挑战，导致临床试验失败率居高不下。深度学习的进步，特别是生成模型，为解决这些挑战提供了潜在的方案。DrugGPT是一种基于Transformer的模型，可以为输入的蛋白质序列生成小分子。尽管前景广阔，但它既会生成化学上有效也会生成无效的结构，并且没有结合已批准药物的特征，导致耗时且低效的药物发现。为了解决这些问题，我们引入了DrugGen，这是一种基于DrugGPT结构的增强模型。DrugGen在已批准的药物-靶标相互作用上进行了微调，并使用近端策略优化进行了优化。通过使用预训练的Transformer（PLAPT）和定制的无效结构评估器提供来自蛋白质-配体结合亲和力预测的奖励反馈，DrugGen显著提高了性能。跨多个靶标的评估表明，与DrugGPT的95.5%相比，DrugGen实现了100%的有效结构生成，并产生了具有更高预测结合亲和力（7.22 [6.30-8.07]）的分子，而DrugGPT为（5.81 [4.97-6.63]），同时保持了多样性和新颖性。对接模拟进一步验证了其有效靶向结合位点的能力。例如，在脂肪酸结合蛋白5（FABP5）的案例中，DrugGen生成的分子具有优于参考分子（棕榈酸，-6.177）的对接分数（FABP5/11，-9.537和FABP5/5，-8.399）。除了先导化合物生成之外，DrugGen还显示出药物重定位和为现有靶标创建新型药效团的潜力。通过产生高质量的小分子，DrugGen为推进药物研究和药物发现提供了一个高性能的媒介。

🔬 方法详解

问题定义：论文旨在解决药物发现过程中，现有基于Transformer的生成模型（如DrugGPT）生成无效化学结构、缺乏已批准药物特征以及结合亲和力不足的问题。这些问题导致药物发现过程耗时且效率低下。

核心思路：论文的核心思路是改进DrugGPT模型，使其能够生成更有效、更具潜力的药物分子。通过在已批准的药物-靶标相互作用数据上进行微调，并利用强化学习框架，结合蛋白质-配体结合亲和力预测和无效结构评估，引导模型生成更符合要求的分子结构。

技术框架：DrugGen的整体框架基于DrugGPT，主要包含以下几个模块：1) 基于Transformer的分子生成器（DrugGPT）；2) 微调模块，使用已批准的药物-靶标相互作用数据进行微调；3) 奖励函数模块，利用预训练的Transformer（PLAPT）预测蛋白质-配体结合亲和力，并使用自定义的无效结构评估器；4) 强化学习优化模块，使用近端策略优化（PPO）算法，根据奖励函数反馈优化生成器。

关键创新：论文的关键创新在于：1) 利用已批准的药物-靶标相互作用数据对生成模型进行微调，使其生成的分子更接近真实药物；2) 引入基于PLAPT的结合亲和力预测和无效结构评估，作为强化学习的奖励信号，引导模型生成更有效的分子；3) 将分子生成与强化学习相结合，实现对生成模型的优化，从而提高生成分子的质量。

关键设计：在奖励函数设计上，论文结合了PLAPT预测的结合亲和力得分和无效结构评估器的输出。PLAPT使用预训练的Transformer模型预测蛋白质-配体结合亲和力，提供结合能力方面的奖励。无效结构评估器则用于惩罚生成无效的化学结构，确保生成分子的化学有效性。强化学习算法采用近端策略优化（PPO），以稳定训练过程并避免策略崩溃。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DrugGen在多个靶标上的评估结果显示，其生成的分子100%为有效结构，显著优于DrugGPT的95.5%。同时，DrugGen生成的分子具有更高的预测结合亲和力（7.22 [6.30-8.07]），而DrugGPT为（5.81 [4.97-6.63]）。在脂肪酸结合蛋白5（FABP5）的对接模拟中，DrugGen生成的分子也表现出优于参考分子的对接分数。

🎯 应用场景

DrugGen具有广泛的应用前景，可用于先导化合物的发现、药物重定位以及新型药效团的创建。该模型能够生成高质量的小分子，加速药物研发进程，降低研发成本，并有望为治疗各种疾病提供新的候选药物。此外，DrugGen还可以应用于个性化药物设计，根据患者的特定基因组信息，生成更有效的治疗方案。

📄 摘要（原文）

Traditional drug design faces significant challenges due to inherent chemical and biological complexities, often resulting in high failure rates in clinical trials. Deep learning advancements, particularly generative models, offer potential solutions to these challenges. One promising algorithm is DrugGPT, a transformer-based model, that generates small molecules for input protein sequences. Although promising, it generates both chemically valid and invalid structures and does not incorporate the features of approved drugs, resulting in time-consuming and inefficient drug discovery. To address these issues, we introduce DrugGen, an enhanced model based on the DrugGPT structure. DrugGen is fine-tuned on approved drug-target interactions and optimized with proximal policy optimization. By giving reward feedback from protein-ligand binding affinity prediction using pre-trained transformers (PLAPT) and a customized invalid structure assessor, DrugGen significantly improves performance. Evaluation across multiple targets demonstrated that DrugGen achieves 100% valid structure generation compared to 95.5% with DrugGPT and produced molecules with higher predicted binding affinities (7.22 [6.30-8.07]) compared to DrugGPT (5.81 [4.97-6.63]) while maintaining diversity and novelty. Docking simulations further validate its ability to generate molecules targeting binding sites effectively. For example, in the case of fatty acid-binding protein 5 (FABP5), DrugGen generated molecules with superior docking scores (FABP5/11, -9.537 and FABP5/5, -8.399) compared to the reference molecule (Palmitic acid, -6.177). Beyond lead compound generation, DrugGen also shows potential for drug repositioning and creating novel pharmacophores for existing targets. By producing high-quality small molecules, DrugGen provides a high-performance medium for advancing pharmaceutical research and drug discovery.