SignGT: Signed Attention-based Graph Transformer for Graph Representation Learning

📄 arXiv: 2310.11025v1 📥 PDF

作者: Jinsong Chen, Gaichao Li, John E. Hopcroft, Kun He

分类: cs.LG, cs.SI

发布日期: 2023-10-17

备注: Submitted to a conference

💡 一句话要点

提出Signed Attention图变换器以解决图表示学习中的频率信息捕获问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图表示学习 图变换器 自注意力机制 有符号注意力 结构感知网络 异质图 节点关系

📋 核心要点

  1. 现有图神经网络在捕获复杂节点关系时，往往仅关注低频信息，导致在异质图等场景下表现不佳。
  2. 本文提出的SignGT通过有符号自注意力机制，能够根据节点对的语义相关性生成有符号注意力值，从而适应性地捕获多种频率信息。
  3. 实验证明，SignGT在多个节点级和图级任务上超越了当前最先进的图变换器和GNN，显示出其优越性。

📝 摘要（中文）

随着图变换器在图表示学习中取得显著成果，本文将自注意力机制视为在完全连接图上的两步聚合操作。现有方法仅捕获低频信息，导致在异质图等复杂关系学习中效率低下。为此，本文提出Signed Attention-based Graph Transformer（SignGT），通过新型的有符号自注意力机制（SignSA）适应性地捕获不同频率的信息。此外，SignGT还引入了结构感知前馈网络（SFFN），以保留局部拓扑信息。大量实验证明，SignGT在节点级和图级任务上优于现有的图变换器和先进的图神经网络（GNNs）。

🔬 方法详解

问题定义：本文旨在解决现有图神经网络在学习复杂节点关系时仅捕获低频信息的问题，尤其是在异质图等场景下的效率低下。

核心思路：提出Signed Attention-based Graph Transformer（SignGT），通过新型的有符号自注意力机制（SignSA）来适应性地捕获不同频率的信息，以提高图表示学习的效果。

技术框架：SignGT的整体架构包括有符号自注意力机制和结构感知前馈网络（SFFN）。前者用于生成有符号注意力值，后者则引入邻域偏差以保留局部拓扑信息。

关键创新：SignGT的核心创新在于引入有符号自注意力机制，能够根据节点对的语义相关性生成有符号注意力值，从而有效捕获多频率信息，区别于传统方法仅关注低频信息。

关键设计：在设计中，SignGT的有符号自注意力机制通过调整注意力值的符号来反映节点间的语义关系，SFFN则通过邻域偏差来增强局部结构信息的保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个节点级和图级任务中，SignGT的表现超越了当前最先进的图变换器和图神经网络，具体性能提升幅度达到XX%，显示出其在图表示学习中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统、知识图谱构建等，能够有效提升图数据的表示能力，进而推动相关领域的研究与应用。未来，SignGT有望在更复杂的图结构中展现出更强的适应性和表现力。

📄 摘要（原文）

The emerging graph Transformers have achieved impressive performance for graph representation learning over graph neural networks (GNNs). In this work, we regard the self-attention mechanism, the core module of graph Transformers, as a two-step aggregation operation on a fully connected graph. Due to the property of generating positive attention values, the self-attention mechanism is equal to conducting a smooth operation on all nodes, preserving the low-frequency information. However, only capturing the low-frequency information is inefficient in learning complex relations of nodes on diverse graphs, such as heterophily graphs where the high-frequency information is crucial. To this end, we propose a Signed Attention-based Graph Transformer (SignGT) to adaptively capture various frequency information from the graphs. Specifically, SignGT develops a new signed self-attention mechanism (SignSA) that produces signed attention values according to the semantic relevance of node pairs. Hence, the diverse frequency information between different node pairs could be carefully preserved. Besides, SignGT proposes a structure-aware feed-forward network (SFFN) that introduces the neighborhood bias to preserve the local topology information. In this way, SignGT could learn informative node representations from both long-range dependencies and local topology information. Extensive empirical results on both node-level and graph-level tasks indicate the superiority of SignGT against state-of-the-art graph Transformers as well as advanced GNNs.