EGraFFBench: Evaluation of Equivariant Graph Neural Network Force Fields for Atomistic Simulations

📄 arXiv: 2310.02428v2 📥 PDF

作者: Vaibhav Bihani, Utkarsh Pratiush, Sajid Mannan, Tao Du, Zhimin Chen, Santiago Miret, Matthieu Micoulaut, Morten M Smedskjaer, Sayan Ranu, N M Anoop Krishnan

分类: cs.LG, cond-mat.mtrl-sci

发布日期: 2023-10-03 (更新: 2023-11-24)

💡 一句话要点

提出EGraFFBench以评估等变图神经网络力场在原子模拟中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 等变图神经网络 原子模拟 基准测试 力场模型 材料科学 动态模拟 超出分布数据 机器学习

📋 核心要点

  1. 现有的EGraFF模型在实际原子模拟中的评估不足，缺乏系统性基准测试。
  2. 本文通过系统评估六种EGraFF算法，提出新数据集和评估指标，以理解其在原子模拟中的表现。
  3. 研究发现，EGraFF模型在不同数据集上的表现不一，强调了对基础模型的需求。

📝 摘要（中文）

等变图神经网络力场（EGraFFs）在建模原子系统复杂相互作用方面展现出巨大潜力，利用图的固有对称性。尽管已有多种新架构结合了基于等变性的归纳偏置与图变换器、消息传递等创新，但对EGraFF在实际原子模拟中的评估仍显不足。本文系统评估了六种EGraFF算法，分析其在真实原子模拟中的能力与局限性，并发布了两个新基准数据集，提出了四个新指标和三个挑战任务。研究发现，EGraFF模型在动态模拟中的表现并不总是可靠，强调了开发可用于实际模拟的基础模型的必要性。

🔬 方法详解

问题定义：本文旨在解决现有EGraFF模型在实际原子模拟中评估不足的问题。现有方法在面对不同晶体结构和温度时表现不稳定，缺乏对超出分布数据的有效评估。

核心思路：通过系统性基准测试六种EGraFF算法，结合新发布的数据集和评估指标，深入分析其在真实原子模拟中的能力和局限性。

技术框架：研究采用了一个多阶段的评估框架，包括数据集构建、模型训练、性能评估和结果分析。新数据集涵盖了多种晶体结构和温度条件，确保了评估的全面性。

关键创新：本文的主要创新在于提出了新的基准数据集和评估指标，特别是针对超出分布数据的评估，填补了现有研究的空白。

关键设计：在模型训练中，采用了多种损失函数和参数设置，以确保模型在不同任务中的适应性和稳定性。通过动态模拟评估模型的能量和力的误差，揭示了模型在实际应用中的可靠性问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，六种EGraFF算法在不同数据集上的表现差异显著，且在动态模拟中，较低的能量或力误差并不保证模拟的稳定性和可靠性。所有模型在超出分布数据上的表现均不可靠，强调了基础模型开发的必要性。

🎯 应用场景

该研究的潜在应用领域包括材料科学、化学反应模拟和纳米技术等。通过提供更可靠的力场模型，研究可以推动原子级别的模拟精度，促进新材料的设计与开发。未来，该框架可能成为原子模拟领域的标准评估工具，推动相关研究的进展。

📄 摘要（原文）

Equivariant graph neural networks force fields (EGraFFs) have shown great promise in modelling complex interactions in atomic systems by exploiting the graphs' inherent symmetries. Recent works have led to a surge in the development of novel architectures that incorporate equivariance-based inductive biases alongside architectural innovations like graph transformers and message passing to model atomic interactions. However, thorough evaluations of these deploying EGraFFs for the downstream task of real-world atomistic simulations, is lacking. To this end, here we perform a systematic benchmarking of 6 EGraFF algorithms (NequIP, Allegro, BOTNet, MACE, Equiformer, TorchMDNet), with the aim of understanding their capabilities and limitations for realistic atomistic simulations. In addition to our thorough evaluation and analysis on eight existing datasets based on the benchmarking literature, we release two new benchmark datasets, propose four new metrics, and three challenging tasks. The new datasets and tasks evaluate the performance of EGraFF to out-of-distribution data, in terms of different crystal structures, temperatures, and new molecules. Interestingly, evaluation of the EGraFF models based on dynamic simulations reveals that having a lower error on energy or force does not guarantee stable or reliable simulation or faithful replication of the atomic structures. Moreover, we find that no model clearly outperforms other models on all datasets and tasks. Importantly, we show that the performance of all the models on out-of-distribution datasets is unreliable, pointing to the need for the development of a foundation model for force fields that can be used in real-world simulations. In summary, this work establishes a rigorous framework for evaluating machine learning force fields in the context of atomic simulations and points to open research challenges within this domain.