Informative Subgraphs Aware Masked Auto-Encoder in Dynamic Graphs

📄 arXiv: 2409.09262v1 📥 PDF

作者: Pengfe Jiao, Xinxun Zhang, Mengzhou Gao, Tianpeng Li, Zhidong Zhao

分类: cs.LG

发布日期: 2024-09-14

💡 一句话要点

DyGIS：动态图中信息子图感知的掩码自编码器，提升时空信息建模能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态图 掩码自编码器 自监督学习 图神经网络 信息子图 时空信息 节点表示学习

📋 核心要点

  1. 现有动态图MAE方法采用随机掩码策略，忽略了引导图演化的关键子图，导致时空信息丢失。
  2. DyGIS通过约束概率生成模型生成信息子图，作为DGMAE的输入，保证演化时空信息的完整性。
  3. 在11个数据集上的实验表明，DyGIS在多个任务中取得了state-of-the-art的性能。

📝 摘要（中文）

生成式自监督学习（SSL），特别是掩码自编码器（MAE），在图机器学习领域取得了巨大成功并引起了广泛的研究兴趣。然而，MAE在动态图中的研究仍然不足。这一差距主要是因为动态图不仅具有拓扑结构信息，还封装了时间演化依赖关系。将大多数MAE方法采用的随机掩码策略应用于动态图会移除引导动态图演化的关键子图，从而导致节点表示中关键时空信息的丢失。为了弥补这一差距，本文提出了一种新的动态图中信息子图感知的掩码自编码器，即DyGIS。具体来说，我们引入了一个约束概率生成模型来生成引导动态图演化的信息子图，成功地缓解了动态演化子图缺失的问题。DyGIS识别的信息子图将作为动态图掩码自编码器（DGMAE）的输入，有效地确保了动态图中演化时空信息的完整性。在11个数据集上的大量实验表明，DyGIS在多个任务中实现了最先进的性能。

🔬 方法详解

问题定义：动态图上的掩码自编码器（MAE）研究不足，现有方法直接应用随机掩码策略，忽略了动态图演化过程中起关键作用的信息子图。这些信息子图蕴含了重要的时空依赖关系，随机掩码会导致节点表示学习过程中关键信息的丢失，影响下游任务的性能。

核心思路：DyGIS的核心思路是首先识别并保留对动态图演化至关重要的信息子图，然后将这些子图作为动态图掩码自编码器（DGMAE）的输入，从而确保模型能够学习到完整的时空信息。通过这种方式，缓解了随机掩码带来的信息丢失问题。

技术框架：DyGIS主要包含两个阶段：1) 信息子图生成阶段：使用约束概率生成模型来生成信息子图，该模型旨在识别并保留对动态图演化具有重要影响的子图结构。2) 动态图掩码自编码器（DGMAE）阶段：将生成的信息子图作为输入，利用掩码自编码器进行节点表示学习。DGMAE通过重建被掩码的节点属性和结构信息，学习节点之间的依赖关系和时序演化模式。

关键创新：DyGIS的关键创新在于提出了信息子图感知的掩码策略，与传统的随机掩码策略不同，DyGIS能够自适应地识别并保留对动态图演化至关重要的子图结构。这种方法能够更有效地捕捉动态图中的时空依赖关系，从而提升节点表示学习的质量。

关键设计：约束概率生成模型的设计是关键。具体来说，该模型可能包含以下技术细节：1) 定义一个概率分布，用于衡量每个子图对动态图演化的重要性。2) 引入约束条件，例如子图的连通性、节点的重要性等，以确保生成的信息子图具有实际意义。3) 使用采样算法从概率分布中选择信息子图。DGMAE的设计可能包括：1) 使用图神经网络（GNN）作为编码器和解码器。2) 设计合适的掩码策略，例如随机掩码或基于节点重要性的掩码。3) 定义重建损失函数，用于衡量重建节点属性和结构信息的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DyGIS在11个数据集上进行了广泛的实验，结果表明其在多个动态图学习任务中取得了state-of-the-art的性能。相较于现有的动态图嵌入方法，DyGIS在节点分类、链接预测等任务上均有显著提升，验证了信息子图感知掩码策略的有效性。具体的性能提升幅度取决于数据集和任务类型，但总体而言，DyGIS能够更有效地捕捉动态图中的时空依赖关系。

🎯 应用场景

DyGIS在动态图节点分类、链接预测等任务中具有广泛的应用前景。例如，在社交网络分析中，可以用于识别关键用户和社群演化趋势；在交通网络分析中，可以用于预测交通流量和拥堵情况；在金融风险评估中，可以用于识别欺诈行为和市场波动。该研究有助于提升动态图数据的分析和理解能力，为相关领域的决策提供支持。

📄 摘要（原文）

Generative self-supervised learning (SSL), especially masked autoencoders (MAE), has greatly succeeded and garnered substantial research interest in graph machine learning. However, the research of MAE in dynamic graphs is still scant. This gap is primarily due to the dynamic graph not only possessing topological structure information but also encapsulating temporal evolution dependency. Applying a random masking strategy which most MAE methods adopt to dynamic graphs will remove the crucial subgraph that guides the evolution of dynamic graphs, resulting in the loss of crucial spatio-temporal information in node representations. To bridge this gap, in this paper, we propose a novel Informative Subgraphs Aware Masked Auto-Encoder in Dynamic Graph, namely DyGIS. Specifically, we introduce a constrained probabilistic generative model to generate informative subgraphs that guide the evolution of dynamic graphs, successfully alleviating the issue of missing dynamic evolution subgraphs. The informative subgraph identified by DyGIS will serve as the input of dynamic graph masked autoencoder (DGMAE), effectively ensuring the integrity of the evolutionary spatio-temporal information within dynamic graphs. Extensive experiments on eleven datasets demonstrate that DyGIS achieves state-of-the-art performance across multiple tasks.