MEGA-CL: A Molecular Foundation Model for Generalizable ADMET Prediction through Graph External Attention and Contrastive Learning
作者: Tinghui Jin, Kedu Jin, Ying Li, Guanghui Ren, Jingzhi Xue, Shiyu Zhou, Xiaoli Dai, Li-bin Wei, Xijing Chen, Di Zhao, Jinfeng Liu
分类: cs.LG
发布日期: 2026-07-27
💡 一句话要点
提出MEGA-CL以解决小分子ADMET预测的挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: ADMET预测 图神经网络 对比学习 药物发现 深度学习
📋 核心要点
- 现有方法在小分子ADMET预测中面临挑战，尤其是在处理复杂的化学结构和全局关系时，常常出现过平滑现象。
- MEGA-CL通过结合自监督对比学习和多头外部注意力机制，设计了一种新的图神经网络框架，以提高ADMET预测的准确性和泛化能力。
- 在多个基准数据集上，MEGA-CL在21个ADMET任务中表现优异，特别是在回归任务中，预测结果与实验值高度一致，显示出良好的临床应用潜力。
📝 摘要（中文）
预测小分子的吸收、分布、代谢、排泄和毒性（ADMET）特性在药物发现中仍然是一个重大挑战。本文提出了MEGA-CL，一个用于通用分子ADMET预测的基础图神经网络框架。MEGA-CL结合了自监督对比学习、多头外部注意力机制和增强的消息传递架构，能够同时建模局部化学亚结构和全局图间关系，同时减轻深度图网络中常见的过平滑效应。在13个基准数据集和21个下游ADMET任务中，MEGA-CL始终优于最先进的基线模型，尤其在清除率和稳态分布体积等回归任务中表现出色，且在独立外部验证中保持强大的泛化能力。该框架在临床相关的预测准确性上表现良好，超过75%的预测落在3倍误差范围内。
🔬 方法详解
问题定义：本研究旨在解决小分子ADMET特性预测中的准确性和泛化能力不足的问题。现有方法在处理复杂化学结构时，常常出现过平滑现象，导致性能下降。
核心思路：MEGA-CL的核心思路是结合自监督对比学习与多头外部注意力机制，以同时捕捉局部和全局特征，从而提高模型的预测能力和泛化能力。
技术框架：MEGA-CL的整体架构包括三个主要模块：自监督对比学习模块、多头外部注意力机制和增强的消息传递架构。自监督学习用于特征提取，外部注意力机制用于增强信息传递，而消息传递架构则用于建模图结构中的关系。
关键创新：MEGA-CL的关键创新在于其多头外部注意力机制与自监督对比学习的结合，这种设计有效缓解了深度图网络中的过平滑问题，提升了模型在复杂任务中的表现。
关键设计：在模型设计中，采用了多头注意力机制以增强信息捕捉能力，损失函数采用了对比损失，以促进模型对不同分子特征的学习。此外，模型在训练过程中使用了增强的消息传递策略，以确保信息在图中的有效传播。
🖼️ 关键图片
📊 实验亮点
MEGA-CL在13个基准数据集和21个ADMET任务中表现优异，特别是在清除率和稳态分布体积的回归任务中，预测准确率超过75%落在3倍误差范围内。在对18种新化合物的外部评估中，超过50%的预测在2倍误差范围内，显示出良好的临床相关性。
🎯 应用场景
MEGA-CL具有广泛的应用潜力，尤其是在药物发现和开发过程中。其能够加速ADMET评估，为早期药物候选优化提供支持，进而提高新药研发的效率和成功率。未来，该框架可能在其他生物医药领域的预测任务中发挥重要作用。
📄 摘要（原文）
Predicting the absorption, distribution, metabolism, excretion and toxicity (ADMET) properties of small molecules remains a major challenge in drug discovery. Here, we present MEGA-CL, a foundation graph neural network framework for universal molecular ADMET prediction. MEGA-CL integrates self-supervised contrastive learning with a multi-head external attention mechanism and an enhanced message-passing architecture, enabling simultaneous modeling of local chemical substructures and global inter-graph relationships while mitigating over-smoothing effects commonly observed in deep graph networks. Across 13 benchmark datasets and 21 downstream ADMET tasks, MEGA-CL consistently outperforms state-of-the-art baseline models. In particular, the framework demonstrates robust performance on challenging regression tasks, including clearance (CL) and steady-state volume of distribution (VDss), while maintaining strong generalization ability in independent external validation. Clinically relevant predictive accuracy was achieved, with more than 75% of predictions falling within a 3-fold error range. In an external evaluation on 18 novel compounds derived from recently approved FDA drugs, over 50% of human liver microsome clearance (HLMC) predictions were within a 2-fold error range. To further assess its practical applicability, MEGA-CL was prospectively evaluated on three preclinical drug candidates using in vitro hepatic microsomal metabolism assays and CYP450 inhibition assays guided by model predictions. The predicted HLMC values for all candidates were within 2.5-fold of the experimentally measured values, and 73.3% of CYP450 inhibition endpoints (11/15) were correctly classified. These results demonstrate the potential of MEGA-CL as a generalizable framework for accelerating in silico ADMET evaluation and early-stage drug candidate optimization.