MMPolymer: A Multimodal Multitask Pretraining Framework for Polymer Property Prediction
作者: Fanmeng Wang, Wentao Guo, Minjie Cheng, Shen Yuan, Hongteng Xu, Zhifeng Gao
分类: cs.LG, cond-mat.soft, cs.AI
发布日期: 2024-06-07 (更新: 2024-07-26)
备注: Accepted by the 33rd ACM International Conference on Information and Knowledge Management (CIKM 2024)
💡 一句话要点
MMPolymer：多模态多任务预训练框架，提升聚合物性质预测精度。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 聚合物性质预测 多模态学习 预训练框架 三维结构信息 星型替换策略
📋 核心要点
- 现有聚合物性质预测方法过度依赖P-SMILES序列信息，忽略了关键的3D结构信息，导致性能欠佳。
- MMPolymer融合聚合物1D序列和3D结构信息，通过多模态多任务预训练，鼓励下游性质预测任务。
- 引入“星型替换”策略有效提取3D结构信息，预训练实现跨模态对齐，下游任务微调取得SOTA性能。
📝 摘要（中文）
本文提出MMPolymer，一种新颖的多模态多任务预训练框架，它融合了聚合物的一维序列信息和三维结构信息，以促进下游聚合物性质预测任务。考虑到聚合物三维数据的稀缺性，本文进一步引入了“星型替换”策略，以有效地提取三维结构信息。在预训练期间，除了预测掩码token和恢复清晰的三维坐标外，MMPolymer还实现了潜在表示的跨模态对齐。然后，在监督学习范式中，我们进一步微调预训练的MMPolymer，用于下游聚合物性质预测任务。实验表明，MMPolymer在下游性质预测任务中取得了最先进的性能。此外，给定预训练的MMPolymer，仅利用单个模态进行微调也能优于现有方法，展示了MMPolymer在聚合物特征提取和利用方面的卓越能力。
🔬 方法详解
问题定义：现有聚合物性质预测方法主要依赖于聚合物的SMILES序列（P-SMILES字符串）信息，而忽略了聚合物重要的三维结构信息。这种信息缺失导致模型无法充分理解聚合物的性质，从而限制了预测的准确性。此外，聚合物的三维结构数据相对稀缺，进一步加剧了这一问题。
核心思路：MMPolymer的核心思路是同时利用聚合物的一维序列信息和三维结构信息进行预训练，从而学习到更全面、更鲁棒的聚合物表示。通过多模态学习，模型能够捕捉到不同模态之间的关联性，从而更好地理解聚合物的性质。此外，针对三维数据稀缺的问题，提出了“星型替换”策略，以更有效地提取三维结构信息。
技术框架：MMPolymer的整体框架包括预训练和微调两个阶段。在预训练阶段，模型同时接收聚合物的P-SMILES序列和三维结构信息作为输入。模型通过多任务学习，同时完成掩码token预测、三维坐标恢复和跨模态对齐等任务。在微调阶段，将预训练好的MMPolymer应用于下游的聚合物性质预测任务，并根据具体的任务数据进行微调。
关键创新：MMPolymer的关键创新在于多模态融合和“星型替换”策略。多模态融合使得模型能够同时利用序列和结构信息，从而学习到更全面的聚合物表示。而“星型替换”策略则能够更有效地提取三维结构信息，缓解了三维数据稀缺的问题。与现有方法相比，MMPolymer能够更好地利用聚合物的结构信息，从而提高性质预测的准确性。
关键设计：在预训练阶段，MMPolymer使用了Transformer结构来处理P-SMILES序列信息，并使用图神经网络来处理三维结构信息。掩码token预测任务使用交叉熵损失函数，三维坐标恢复任务使用均方误差损失函数，跨模态对齐任务使用对比学习损失函数。 “星型替换”策略的具体实现方式是随机选择聚合物中的一些原子，并将其替换为特殊的“星型”原子，然后要求模型预测这些被替换原子的原始坐标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MMPolymer在多个下游聚合物性质预测任务中取得了SOTA性能。即使仅使用单模态数据进行微调，MMPolymer的性能也优于现有的单模态方法，这充分证明了MMPolymer在聚合物特征提取方面的强大能力。具体的性能提升数据在论文中有详细展示。
🎯 应用场景
MMPolymer可应用于新聚合物材料的发现与设计，加速高性能、低成本聚合物的研发进程。通过准确预测聚合物的各种性质，例如塑性、导电性和生物相容性，可以指导实验合成，减少试错成本，并推动相关产业的创新发展。未来，该方法有望扩展到其他材料领域，促进材料科学的智能化。
📄 摘要（原文）
Polymers are high-molecular-weight compounds constructed by the covalent bonding of numerous identical or similar monomers so that their 3D structures are complex yet exhibit unignorable regularity. Typically, the properties of a polymer, such as plasticity, conductivity, bio-compatibility, and so on, are highly correlated with its 3D structure. However, existing polymer property prediction methods heavily rely on the information learned from polymer SMILES sequences (P-SMILES strings) while ignoring crucial 3D structural information, resulting in sub-optimal performance. In this work, we propose MMPolymer, a novel multimodal multitask pretraining framework incorporating polymer 1D sequential and 3D structural information to encourage downstream polymer property prediction tasks. Besides, considering the scarcity of polymer 3D data, we further introduce the "Star Substitution" strategy to extract 3D structural information effectively. During pretraining, in addition to predicting masked tokens and recovering clear 3D coordinates, MMPolymer achieves the cross-modal alignment of latent representations. Then we further fine-tune the pretrained MMPolymer for downstream polymer property prediction tasks in the supervised learning paradigm. Experiments show that MMPolymer achieves state-of-the-art performance in downstream property prediction tasks. Moreover, given the pretrained MMPolymer, utilizing merely a single modality in the fine-tuning phase can also outperform existing methods, showcasing the exceptional capability of MMPolymer in polymer feature extraction and utilization.