CLOUD: A Scalable and Physics-Informed Foundation Model for Crystal Representation Learning

📄 arXiv: 2506.17345v1 📥 PDF

作者: Changwen Xu, Shang Zhu, Venkatasubramanian Viswanathan

分类: cond-mat.mtrl-sci, cs.LG

发布日期: 2025-06-19

备注: 36 pages, 11 pages of Supporting Information

💡 一句话要点

提出CLOUD模型以解决晶体属性预测的可扩展性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 晶体属性预测 机器学习 材料科学 物理信息驱动 对称一致编码 热力学一致性 功能材料 变换器模型

📋 核心要点

  1. 现有方法依赖实验或DFT计算，资源消耗大且难以扩展，限制了晶体材料的研究和应用。
  2. CLOUD模型通过引入对称一致有序参数编码（SCOPE），实现了晶体结构的紧凑表示，结合物理原理进行属性预测。
  3. CLOUD在六百万个晶体结构上预训练，微调后在多个任务中表现优异，展示了良好的热力学一致性和温度依赖性预测能力。

📝 摘要（中文）

晶体属性的预测对于理解结构-属性关系和加速功能材料的发现至关重要。然而，传统方法依赖实验测量或密度泛函理论（DFT）计算，通常资源密集，限制了其可扩展性。机器学习模型通过从数据中学习复杂的结构-属性关系，提供了一个有前景的替代方案。本文提出CLOUD（晶体语言模型），基于新颖的对称一致有序参数编码（SCOPE），以紧凑的无坐标字符串表示法编码晶体对称性、Wyckoff位置和组成。CLOUD在超过六百万个晶体结构上进行预训练，并在多个下游任务上进行微调，展现出竞争力的性能，证明了其强大的可扩展性。此外，CLOUD还应用于预测声子内部能量和热容，整合德拜模型以保持热力学一致性，展示了其作为可扩展且物理信息驱动的基础模型的潜力。

🔬 方法详解

问题定义：本文旨在解决晶体属性预测中的可扩展性问题，现有方法通常依赖于资源密集的实验或DFT计算，导致其在大规模材料发现中的应用受限。

核心思路：CLOUD模型通过引入对称一致有序参数编码（SCOPE），实现了晶体结构的紧凑表示，能够有效捕捉晶体的对称性和组成信息，同时结合物理原理进行学习，提升模型的可解释性和泛化能力。

技术框架：CLOUD采用基于变换器的框架，首先在大规模晶体结构数据集上进行预训练，随后在多个下游任务上进行微调。模型的主要模块包括SCOPE编码器和属性预测网络，确保了结构信息的有效传递。

关键创新：CLOUD的最大创新在于其对称一致的编码方式和与物理模型的结合，使得模型不仅能进行快速预测，还能保持热力学一致性，这是传统机器学习模型所缺乏的。

关键设计：模型的设计中，SCOPE编码器负责将晶体信息转换为无坐标的字符串表示，损失函数则结合了物理约束，确保模型在预测属性时遵循热力学定律。

📊 实验亮点

CLOUD在多个下游任务中表现出色，尤其是在预测声子内部能量和热容方面，成功整合德拜模型，实现了热力学一致性。与传统方法相比，CLOUD在性能上有显著提升，展示了良好的可扩展性和适应性。

🎯 应用场景

CLOUD模型在材料科学领域具有广泛的应用潜力，能够加速新材料的发现与设计，特别是在功能材料的开发中。其物理信息驱动的学习方式，有助于提高材料属性预测的准确性和可靠性，推动智能材料的研究进展。

📄 摘要（原文）

The prediction of crystal properties is essential for understanding structure-property relationships and accelerating the discovery of functional materials. However, conventional approaches relying on experimental measurements or density functional theory (DFT) calculations are often resource-intensive, limiting their scalability. Machine learning (ML) models offer a promising alternative by learning complex structure-property relationships from data, enabling faster predictions. Yet, existing ML models often rely on labeled data, adopt representations that poorly capture essential structural characteristics, and lack integration with physical principles--factors that limit their generalizability and interpretability. Here, we introduce CLOUD (Crystal Language mOdel for Unified and Differentiable materials modeling), a transformer-based framework trained on a novel Symmetry-Consistent Ordered Parameter Encoding (SCOPE) that encodes crystal symmetry, Wyckoff positions, and composition in a compact, coordinate-free string representation. Pre-trained on over six million crystal structures, CLOUD is fine-tuned on multiple downstream tasks and achieves competitive performance in predicting a wide range of material properties, demonstrating strong scaling performance. Furthermore, as proof of concept of differentiable materials modeling, CLOUD is applied to predict the phonon internal energy and heat capacity, which integrates the Debye model to preserve thermodynamic consistency. The CLOUD-DEBYE framework enforces thermodynamic consistency and enables temperature-dependent property prediction without requiring additional data. These results demonstrate the potential of CLOUD as a scalable and physics-informed foundation model for crystalline materials, unifying symmetry-consistent representations with physically grounded learning for property prediction and materials discovery.