Higher-Order Molecular Grammars for Generative and Foundation Models in Chemistry

📄 arXiv: 2610.02186v1 📥 PDF

作者: Yiming Huang, Yujie Zeng, Vijay Prakash Dwivedi, Simone Foti, Jianmin Wang, Jure Leskovec, Tolga Birdal

分类: cs.LG, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出高阶语法表示以解决分子生成中的拓扑编码问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高阶语法 分子生成 拓扑表示 组合复合体 药物发现 材料科学 表示学习

📋 核心要点

  1. 现有的分子学习模型在处理高阶拓扑结构时存在局限，难以有效编码复杂的分子特征。
  2. 本文提出高阶语法表示（HGR），通过将分子转化为组合复合体并使用上下文无关高阶语法进行解析，解决了高阶拓扑编码的问题。
  3. HGR模型在分子生成任务中实现了100%的有效性，并在多个基准测试中表现优于现有方法，提升了AUC值。

📝 摘要（中文）

分子学习模型的表现受其底层表示的影响。然而，标准的序列和图形式难以明确编码高阶拓扑结构，如环系统和重复图案。现有的高阶表示能够直接捕捉这些结构，但通常计算开销大且难以解码为有效分子。本文提出高阶语法表示（HGR），这是一个有原则的、关注拓扑的框架，将分子提升为组合复合体，并将每个复合体解析为上下文无关高阶语法的紧凑生成规则序列。通过将高阶拓扑序列化为规则序列，HGR使这些结构与标准序列模型直接兼容，避免了显式高阶编码的计算开销，同时保留了拓扑表达能力。实验结果表明，基于HGR的模型在分子生成和表示学习中均表现优异。

🔬 方法详解

问题定义：本文旨在解决现有分子学习模型在编码高阶拓扑结构时的不足，特别是环系统和重复图案的表示困难。现有方法往往计算复杂且难以解码为有效分子。

核心思路：提出高阶语法表示（HGR），通过将分子提升为组合复合体，利用上下文无关高阶语法将其解析为规则序列，从而实现高效的拓扑编码。

技术框架：HGR的整体架构包括分子到组合复合体的转换、复合体的解析过程以及生成规则序列的模块。该框架能够与标准序列模型兼容，简化计算过程。

关键创新：HGR的主要创新在于其高效的高阶拓扑表示方法，避免了显式高阶编码的计算开销，同时保留了拓扑的表达能力。这一方法与现有的高阶表示方法本质上不同，提供了更优的计算效率。

关键设计：在HGR中，关键设计包括生成规则的选择、损失函数的设置以及网络结构的优化，以确保模型在分子生成和表示学习中的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于HGR的模型在所有五个生成基准测试中均实现了100%的有效性，并在分子生成任务中排名第一。此外，HGR-FM在七个MoleculeNet基准测试中，AUC值分别提升了8.3和3.3，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括药物发现、材料科学和化学合成等。通过高效的分子生成和表示学习，HGR能够加速新分子的设计与优化，推动化学领域的创新与发展。

📄 摘要（原文）

Molecular learning models are strongly shaped by their underlying representations. Yet standard sequential and graph formalisms struggle to explicitly encode higher-order topology, such as ring systems and recurring motifs. Existing higher-order representations can capture these structures directly, but they are often computationally demanding and difficult to decode into valid molecules. Here, we introduce Higher-order Grammar Representation (HGR), a principled, topology-aware framework that lifts molecules to combinatorial complexes and parses each complex into a compact sequence of production rules under a context-free higher-order grammar. By serialising higher-order topology into rule sequences, HGR makes these structures directly compatible with standard sequence models, avoiding the computational overhead of explicit higher-order encodings while preserving topological expressiveness. To reduce benchmark bias towards simple ring systems, we construct RingDiv, a ring-enriched benchmark containing 1.18 million molecules, including the curated RingDiv300k subset, and introduce the ring diversity index (RDI) to quantify ring-system coverage. In molecular generation, HGR-based models uniquely combine 100% validity by construction with leading distributional alignment, ranking first in FCD on all five generation benchmarks. In representation learning, HGR-FM achieves the highest mean AUC across seven MoleculeNet benchmarks under both transfer protocols, improving on the strongest baseline by 8.3 and 3.3 AUC points under probing and full fine-tuning, respectively. Collectively, these results establish HGR as an efficient higher-order representation for molecular generation and transferable representation learning.