Multimodal Molecular Representation Learning with Graph Neural Networks, Deep & Cross Networks, and SMILES Embeddings

📄 arXiv: 2607.05736v1 📥 PDF

作者: Qiwei Han, Chi Zhou, Ruobing Wang, Zheng Ma

分类: cs.LG

发布日期: 2026-07-07

备注: 14 pages, 3 figures

💡 一句话要点

提出三分支模块融合神经网络以解决分子属性预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分子属性预测 图神经网络 多模态融合 深度学习 化学信息学

📋 核心要点

  1. 现有的分子属性预测方法往往依赖于单一的数据模态，导致在捕捉复杂的分子结构时效率低下。
  2. 本文提出了一种三分支模块融合神经网络，结合三种不同的模态，以提高分子属性预测的准确性和效率。
  3. 在QM9基准测试中，该方法实现了0.0207 eV的验证平均绝对误差，相较于基线模型减少了20.6%的误差，展现了显著的性能提升。

📝 摘要（中文）

分子属性预测通常依赖于孤立的数据模态，而连续的三维图神经网络（GNN）在捕捉长程拓扑依赖和精确的宏观启发式方面存在困难。本文提出了一种参数高效的三分支模块融合神经网络，综合了三种正交模态：三维空间几何（SchNet）、离散拓扑语法（通过ChemBERTa的SMILES）和显式的宏观物理化学描述符（深度与交叉网络）。通过绕过标准标量读出并采用共享的后融合架构，该框架建立了一个数学上严谨的多模态潜在空间，有效解决了局部消息传递的算术和过平滑限制。我们在QM9基准上评估了该架构，针对0 K下的原子化能的广泛热力学属性，最终实现了0.0207 eV的验证平均绝对误差（MAE），并在不到一百万个参数的情况下，显著超越了亚化学精度阈值，较严格控制的几何基线减少了20.6%的误差。

🔬 方法详解

问题定义：本文旨在解决分子属性预测中现有方法在捕捉长程拓扑依赖和宏观启发式方面的不足，尤其是三维图神经网络的局限性。

核心思路：提出的三分支模块融合神经网络通过整合三种正交模态，利用共享的后融合架构来建立一个严谨的多模态潜在空间，从而提高预测的准确性和效率。

技术框架：整体架构包括三大模块：三维空间几何（SchNet）、离散拓扑语法（SMILES）和宏观物理化学描述符（深度与交叉网络），通过后融合的方式进行信息整合。

关键创新：该方法的创新在于通过融合不同模态的数据流，克服了传统局部消息传递的算术和过平滑问题，实现了更高效的参数利用和性能提升。

关键设计：网络设计中采用了共享的后融合架构，参数设置为不到一百万个，并通过系统的组合消融实验和潜在瓶颈优化（$d_e=64$）来提升模型性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在QM9基准测试中，提出的三分支模块融合神经网络实现了0.0207 eV的验证平均绝对误差（MAE），较严格控制的几何基线减少了20.6%的误差，显著超越了亚化学精度阈值，展示了其在分子属性预测中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括药物发现、材料科学和化学反应预测等高通量虚拟筛选（HTVS）管道。通过提供高效的分子属性预测模型，能够加速新材料和药物的开发过程，具有重要的实际价值和未来影响。

📄 摘要（原文）

Molecular property prediction often relies on isolated data modalities, where continuous 3D graph neural networks (GNNs) struggle to efficiently capture long-range topological dependencies and exact macroscopic heuristics. In this work, we introduce a parameter-efficient Tri-Branch Modular Fusion Neural Network that synthesizes three orthogonal modalities: 3D spatial geometry (SchNet), discrete topological grammar (SMILES via ChemBERTa), and explicit macroscopic physicochemical descriptors (Deep & Cross Network). By bypassing standard scalar readouts and employing a shared late-fusion architecture, the framework establishes a mathematically rigorous multimodal latent space that effectively resolves the arithmetic and oversmoothing limitations of local message passing. We evaluate the proposed architecture on the QM9 benchmark, targeting the extensive thermodynamic property of atomization energy at 0 K ($U_0^{\mathrm{atom}}$). Through systematic combinatorial ablation and latent bottleneck optimization ($d_e=64$), the tri-modal framework achieves a validation Mean Absolute Error (MAE) of 0.0207 eV. Operating with fewer than one million parameters, this architecture decisively surpasses the sub-chemical accuracy threshold and yields a substantial 20.6% error reduction over a strictly controlled geometric baseline. Ultimately, our findings demonstrate that integrating orthogonal macroscopic and topological data streams provides a synergistic, $\mathcal{O}(1)$ physical shortcut. This multimodal alignment offers a highly efficient alternative to brute-force parameter scaling, establishing a robust surrogate model for high-throughput virtual screening (HTVS) pipelines.