Property Enhanced Instruction Tuning for Multi-task Molecule Generation with Large Language Models

📄 arXiv: 2412.18084v5 📥 PDF

作者: Xuan Lin, Long Chen, Yile Wang, Xiangxiang Zeng, Philip S. Yu

分类: cs.AI

发布日期: 2024-12-24 (更新: 2025-05-26)

备注: 9

🔗 代码/项目: GITHUB

💡 一句话要点

提出PEIT框架，利用属性增强指令调优提升LLM在多任务分子生成中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分子生成 大型语言模型 指令调优 多模态学习 属性增强

📋 核心要点

  1. 现有分子生成方法缺乏带标注的数据，且生化属性标注困难，导致LLM在多属性约束分子生成任务中性能受限。
  2. PEIT框架通过多模态输入（文本、SMILES、生化属性）预训练PEIT-GEN，合成指令数据，再微调LLM，实现属性增强的指令调优。
  3. 实验表明，PEIT-GEN在分子描述任务上优于MolT5和BioT5，PEIT-LLM在多任务分子生成上表现出显著提升。

📝 摘要（中文）

大型语言模型（LLMs）已广泛应用于各种自然语言处理任务，如问答和机器翻译。然而，由于缺乏标记数据以及生化属性的人工标注难度，LLMs在分子生成任务中的性能仍然有限，尤其是在涉及多属性约束的任务中。本文提出了一种两步框架PEIT（Property Enhanced Instruction Tuning），以提高LLMs在分子相关任务中的性能。第一步，我们使用文本描述、SMILES和生化属性作为多模态输入来预训练一个名为PEIT-GEN的模型，通过对齐多模态表示来合成指令数据。第二步，我们使用合成数据对现有的开源LLMs进行微调，得到的PEIT-LLM可以处理分子描述、基于文本的分子生成、分子属性预测以及我们新提出的多约束分子生成任务。实验结果表明，我们预训练的PEIT-GEN在分子描述方面优于MolT5和BioT5，证明了文本描述、结构和生化属性之间的良好模态对齐。此外，PEIT-LLM在多任务分子生成方面显示出有希望的改进，证明了PEIT框架对于各种分子任务的可扩展性。我们发布了代码、构建的指令数据和模型检查点。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在多任务分子生成，特别是多属性约束分子生成任务中性能不足的问题。现有方法面临的痛点是缺乏带标注的数据，以及生化属性的人工标注成本高昂，导致模型难以有效学习分子结构、性质与文本描述之间的关系。

核心思路：论文的核心思路是利用多模态信息（文本描述、SMILES分子结构、生化属性）来增强LLM的指令调优。通过预训练一个生成模型，合成高质量的指令数据，然后用这些数据微调现有的LLM，从而提升其在分子相关任务上的性能。这种方法避免了人工标注大量数据的需求，并能够有效利用已有的分子信息。

技术框架：PEIT框架包含两个主要阶段：1) PEIT-GEN预训练阶段：该阶段使用文本描述、SMILES和生化属性作为多模态输入，训练一个生成模型PEIT-GEN，使其能够根据给定的分子信息生成相应的指令数据。2) PEIT-LLM微调阶段：该阶段使用PEIT-GEN生成的指令数据，对现有的开源LLM进行微调，得到PEIT-LLM。PEIT-LLM能够处理分子描述、基于文本的分子生成、分子属性预测以及多约束分子生成等任务。

关键创新：该论文的关键创新在于提出了一个两阶段的属性增强指令调优框架PEIT，该框架能够有效地利用多模态分子信息来提升LLM在分子生成任务上的性能。与传统的直接微调LLM的方法相比，PEIT框架通过预训练生成模型来合成指令数据，从而避免了人工标注大量数据的需求，并能够更好地利用已有的分子信息。

关键设计：PEIT-GEN的训练目标是学习多模态表示之间的对齐关系，使其能够根据给定的文本描述、SMILES和生化属性生成相应的指令数据。PEIT-LLM的微调过程旨在使LLM能够更好地理解和执行与分子相关的指令，从而提升其在各种分子任务上的性能。具体的损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，预训练的PEIT-GEN在分子描述任务上优于MolT5和BioT5，证明了文本描述、结构和生化属性之间的良好模态对齐。此外，PEIT-LLM在多任务分子生成方面表现出显著提升，验证了PEIT框架在各种分子任务上的有效性和可扩展性。具体的性能提升幅度在论文中未给出明确的量化数据。

🎯 应用场景

该研究成果可应用于药物发现、材料科学等领域。通过提升LLM在分子生成任务中的性能，可以加速新药和新材料的研发过程，降低研发成本。未来，该方法可以扩展到其他领域，例如蛋白质工程、基因工程等，为生物医药领域的研究提供更强大的工具。

📄 摘要（原文）

Large language models (LLMs) are widely applied in various natural language processing tasks such as question answering and machine translation. However, due to the lack of labeled data and the difficulty of manual annotation for biochemical properties, the performance for molecule generation tasks is still limited, especially for tasks involving multi-properties constraints. In this work, we present a two-step framework PEIT (Property Enhanced Instruction Tuning) to improve LLMs for molecular-related tasks. In the first step, we use textual descriptions, SMILES, and biochemical properties as multimodal inputs to pre-train a model called PEIT-GEN, by aligning multi-modal representations to synthesize instruction data. In the second step, we fine-tune existing open-source LLMs with the synthesized data, the resulting PEIT-LLM can handle molecule captioning, text-based molecule generation, molecular property prediction, and our newly proposed multi-constraint molecule generation tasks. Experimental results show that our pre-trained PEIT-GEN outperforms MolT5 and BioT5 in molecule captioning, demonstrating modalities align well between textual descriptions, structures, and biochemical properties. Furthermore, PEIT-LLM shows promising improvements in multi-task molecule generation, proving the scalability of the PEIT framework for various molecular tasks. We release the code, constructed instruction data, and model checkpoints in https://github.com/chenlong164/PEIT.