All-in-one foundational models learning across quantum chemical levels

📄 arXiv: 2409.12015v1 📥 PDF

作者: Yuxinxin Chen, Pavlo O. Dral

分类: physics.chem-ph, cs.LG

发布日期: 2024-09-18

🔗 代码/项目: GITHUB | GITHUB

💡 一句话要点

提出AIO-ANI模型，实现跨量子化学等级的统一机器学习势函数建模

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器学习势函数 量子化学 多模态学习 神经网络 分子动力学

📋 核心要点

  1. 现有的机器学习势函数通常针对单一量子化学等级，多保真学习模型难以扩展为基础模型。
  2. 论文提出AIO-ANI模型，基于多模态学习，可学习任意数量的量子化学等级，简化迁移学习流程。
  3. 实验表明，AIO-ANI模型泛化能力与GFN2-xTB和DFT相当，且Δ-AIO-ANI模型具有更高的准确性和鲁棒性。

📝 摘要（中文）

本文提出了一种基于多模态学习的all-in-one (AIO) ANI模型架构，该架构能够学习任意数量的量子化学(QC)等级，为基础模型的构建提供了一种更通用、更易用的迁移学习替代方案。研究人员使用该方法训练了AIO-ANI-UIP基础模型，其泛化能力与半经验GFN2-xTB和具有双zeta基组的DFT相当，适用于有机分子。结果表明，AIO-ANI模型可以学习从半经验到密度泛函理论再到耦合簇的不同QC等级。此外，研究人员还利用AIO模型设计了基于Δ-learning的Δ-AIO-ANI基础模型，与AIO-ANI-UIP相比，该模型具有更高的准确性和鲁棒性。代码和基础模型已在GitHub上开源，并将集成到通用且可更新的AI增强QM (UAIQM)库中，并在MLatom软件包中提供，以便在XACS云计算平台上在线使用。

🔬 方法详解

问题定义：现有的机器学习势函数通常针对单一的量子化学（QC）等级进行训练，这限制了模型的通用性和适用范围。虽然多保真学习方法有所发展，但它们尚未能提供可扩展的解决方案，以构建能够处理多种QC等级的基础模型。因此，如何构建一个能够跨越不同QC等级，并且具有良好泛化能力的机器学习势函数是一个关键问题。

核心思路：论文的核心思路是利用多模态学习的思想，设计一种名为All-in-one (AIO)的神经网络架构。该架构能够同时学习来自不同QC等级的数据，从而构建一个统一的势函数模型。通过这种方式，模型可以学习到不同QC等级之间的内在联系，从而提高泛化能力和预测精度。AIO方法旨在提供一种更通用、更易于使用的替代方案，以取代传统的迁移学习方法。

技术框架：AIO-ANI模型的整体架构基于ANI神经网络，但进行了扩展以支持多模态学习。该模型接收原子坐标和原子类型作为输入，并输出势能。关键在于，模型能够区分不同QC等级的数据，并针对每个等级学习特定的势能函数。为了进一步提高模型的性能，研究人员还提出了Δ-AIO-ANI模型，该模型基于Δ-learning的思想，即学习高精度QC等级与低精度QC等级之间的能量差异。

关键创新：该论文最重要的技术创新点在于提出了AIO-ANI模型架构，该架构能够同时学习来自不同QC等级的数据，从而构建一个统一的势函数模型。这与传统的机器学习势函数只针对单一QC等级进行训练形成了鲜明对比。此外，Δ-AIO-ANI模型通过学习能量差异，进一步提高了模型的准确性和鲁棒性。

关键设计：AIO-ANI模型的关键设计在于其多模态学习能力。具体来说，模型需要能够区分不同QC等级的数据，并针对每个等级学习特定的势能函数。这可以通过在输入层或隐藏层中引入QC等级的嵌入向量来实现。损失函数的设计也至关重要，需要平衡不同QC等级的数据对模型训练的影响。此外，Δ-AIO-ANI模型的关键设计在于如何有效地学习能量差异，这可能需要使用特殊的网络结构或损失函数。

📊 实验亮点

实验结果表明，AIO-ANI-UIP基础模型的泛化能力与半经验GFN2-xTB和具有双zeta基组的DFT相当，适用于有机分子。更重要的是，Δ-AIO-ANI模型在准确性和鲁棒性方面均优于AIO-ANI-UIP。这些结果表明，AIO模型是一种有效的跨量子化学等级学习方法，并为构建高性能的机器学习势函数提供了新的途径。

🎯 应用场景

该研究成果可广泛应用于分子动力学模拟、材料设计、药物发现等领域。通过构建能够跨越不同量子化学等级的机器学习势函数，可以显著提高计算效率，并加速新材料和药物的开发过程。此外，该模型还可以用于研究化学反应机理和预测分子性质，为化学研究提供新的工具。

📄 摘要（原文）

Machine learning (ML) potentials typically target a single quantum chemical (QC) level while the ML models developed for multi-fidelity learning have not been shown to provide scalable solutions for foundational models. Here we introduce the all-in-one (AIO) ANI model architecture based on multimodal learning which can learn an arbitrary number of QC levels. Our all-in-one learning approach offers a more general and easier-to-use alternative to transfer learning. We use it to train the AIO-ANI-UIP foundational model with the generalization capability comparable to semi-empirical GFN2-xTB and DFT with a double-zeta basis set for organic molecules. We show that the AIO-ANI model can learn across different QC levels ranging from semi-empirical to density functional theory to coupled cluster. We also use AIO models to design the foundational model Δ-AIO-ANI based on Δ-learning with increased accuracy and robustness compared to AIO-ANI-UIP. The code and the foundational models are available at https://github.com/dralgroup/aio-ani; they will be integrated into the universal and updatable AI-enhanced QM (UAIQM) library and made available in the MLatom package so that they can be used online at the XACS cloud computing platform (see https://github.com/dralgroup/mlatom for updates).