Range-aware Positional Encoding via High-order Pretraining: Theory and Practice

📄 arXiv: 2409.19117v1 📥 PDF

作者: Viet Anh Nguyen, Nhat Khang Ngo, Truong Son Hy

分类: cs.LG, eess.SP

发布日期: 2024-09-27

💡 一句话要点

提出HOPE-WavePE，通过高阶预训练实现范围感知的图结构编码，提升图表示泛化性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 预训练 位置编码 小波变换 自编码器 图表示学习 范围感知 高阶模型

📋 核心要点

  1. 现有图预训练方法忽略了网络中的内在联系，限制了知识迁移到各种监督任务的能力。
  2. HOPE-WavePE通过预训练高阶置换等变自编码器，从多分辨率小波信号重建节点连接，建模图的多分辨率结构信息。
  3. 实验表明，HOPE-WavePE在图级别预测任务上优于其他方法，验证了其有效性和泛化能力。

📝 摘要（中文）

本文提出了一种新颖的图预训练策略，专注于建模图的多分辨率结构信息，从而捕获全局信息并保留局部结构。该方法扩展了Wavelet Positional Encoding (WavePE) 的工作，通过预训练一个高阶置换等变自编码器 (HOPE-WavePE) 来从多分辨率小波信号重建节点连接。与现有的位置编码不同，该方法对下游任务中的输入图大小敏感，能够有效地捕获图的全局结构。由于该方法仅依赖于图结构，因此具有领域无关性，适用于来自不同领域的数据集，为开发通用图结构编码器和图基础模型铺平了道路。理论证明，存在一种架构参数化，可以以任意低的误差预测输出邻接矩阵。在不同领域的图级别预测任务上评估了HOPE-WavePE，并表明其优于其他方法。

🔬 方法详解

问题定义：现有图神经网络预训练方法通常针对特定图领域，缺乏对不同领域图结构共性的建模能力，导致模型在跨领域任务上的泛化性能较差。此外，现有位置编码方法难以有效捕获图的全局结构，限制了模型对图整体信息的理解。

核心思路：本文的核心思路是通过建模图的多分辨率结构信息，同时捕获全局信息和保留局部结构。利用小波变换提取图的多分辨率信号，并设计高阶置换等变自编码器，从这些信号中重建节点连接关系。这种方法使得模型能够学习到与图大小相关的结构信息，从而提高在不同规模图上的泛化能力。

技术框架：HOPE-WavePE的整体框架包括以下几个主要阶段：1. 图的小波变换：对输入图进行小波变换，提取多分辨率的节点信号。2. 高阶置换等变自编码器：设计一个高阶置换等变自编码器，该自编码器以多分辨率节点信号作为输入，学习重建图的邻接矩阵。3. 预训练：使用大量的无标签图数据，通过自编码器的重建损失进行预训练。4. 微调：在下游任务上，使用预训练好的HOPE-WavePE作为图编码器，并进行微调。

关键创新：最重要的技术创新点在于提出了范围感知的图结构编码方法。通过高阶预训练，使得模型能够学习到与图大小相关的结构信息，从而提高在不同规模图上的泛化能力。此外，利用小波变换提取多分辨率信号，能够同时捕获图的全局和局部结构信息。

关键设计：HOPE-WavePE的关键设计包括：1. 高阶置换等变自编码器的网络结构，需要保证对节点顺序的不变性。2. 小波变换的参数选择，需要根据图的特性进行调整。3. 重建损失函数的选择，需要能够有效地衡量重建邻接矩阵的误差。4. 预训练数据集的选择，需要包含各种不同类型的图结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HOPE-WavePE在多个图级别预测任务上取得了显著的性能提升。例如，在某些数据集上，HOPE-WavePE的性能超过了现有方法5%以上。此外，实验还验证了HOPE-WavePE在不同规模图上的泛化能力，表明其具有良好的鲁棒性。

🎯 应用场景

HOPE-WavePE具有广泛的应用前景，例如分子性质预测、材料科学、社交网络分析等。通过对图结构进行有效的编码，可以提升模型在这些领域的预测精度和泛化能力。此外，该方法还可以作为图基础模型的基础，为开发更强大的图学习算法提供支持。

📄 摘要（原文）

Unsupervised pre-training on vast amounts of graph data is critical in real-world applications wherein labeled data is limited, such as molecule properties prediction or materials science. Existing approaches pre-train models for specific graph domains, neglecting the inherent connections within networks. This limits their ability to transfer knowledge to various supervised tasks. In this work, we propose a novel pre-training strategy on graphs that focuses on modeling their multi-resolution structural information, allowing us to capture global information of the whole graph while preserving local structures around its nodes. We extend the work of Wave}let Positional Encoding (WavePE) from (Ngo et al., 2023) by pretraining a High-Order Permutation-Equivariant Autoencoder (HOPE-WavePE) to reconstruct node connectivities from their multi-resolution wavelet signals. Unlike existing positional encodings, our method is designed to become sensitivity to the input graph size in downstream tasks, which efficiently capture global structure on graphs. Since our approach relies solely on the graph structure, it is also domain-agnostic and adaptable to datasets from various domains, therefore paving the wave for developing general graph structure encoders and graph foundation models. We theoretically demonstrate that there exists a parametrization of such architecture that it can predict the output adjacency up to arbitrarily low error. We also evaluate HOPE-WavePE on graph-level prediction tasks of different areas and show its superiority compared to other methods.