Your Graph Recommender is Provably a Single-view Graph Contrastive Learning

📄 arXiv: 2407.17723v1 📥 PDF

作者: Wenjie Yang, Shengzhong Zhang, Jiaxing Guo, Zengfeng Huang

分类: cs.LG

发布日期: 2024-07-25

💡 一句话要点

揭示图推荐器本质：等价于单视图图对比学习模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图推荐系统 图对比学习 图神经网络 推荐算法 理论分析 表示学习

📋 核心要点

  1. 现有图推荐器(GR)与图对比学习(GCL)的研究存在交叉，但二者关系的理论理解不足，导致研究效率低下。
  2. 论文核心思想是从编码器和损失函数的角度，证明图推荐器等价于一种常用的单视图图对比模型。
  3. 实验结果表明，推荐损失和GCL损失可以互换使用，仅使用GCL损失即可训练GR模型，为GCL的应用提供了新思路。

📝 摘要（中文）

图推荐器(GR)是一种图神经网络(GNN)编码器，专门用于从用户-物品交互图中提取信息。由于其在推荐任务上的强大性能，GR最近受到了广泛关注。图对比学习(GCL)也是一个流行的研究方向，旨在学习具有特定对比目标的GNN，通常是无监督的。作为一种通用的图表示学习方法，GCL已被广泛应用于监督推荐损失，以联合训练GR。尽管GR和GCL研究有所交叉，但对这两个领域之间关系的理论理解却出奇地稀疏。这种空白不可避免地导致了低效的科学研究。本文旨在从编码器和损失函数的角度弥合GR和GCL领域之间的差距。在温和的假设下，我们从理论上展示了一个惊人的事实，即图推荐器等价于一种常用的单视图图对比模型。具体来说，我们发现(1)GR中的经典编码器本质上是一个具有one-hot输入的线性图卷积网络，(2)GR中的损失函数可以很好地被具有特定超参数的单视图GCL损失所约束。第一个观察结果使我们能够解释GR模型的关键设计，例如，删除自环和非线性。第二个发现可以很容易地促使许多跨领域的研究方向。我们通过实验展示了一个显著的结果，即推荐损失和GCL损失可以互换使用。我们可以仅使用GCL损失来训练GR模型这一事实特别有见地，因为在这项工作之前，GCL通常被视为需要微调的无监督方法。我们还讨论了一些受我们的理论启发的潜在未来工作。

🔬 方法详解

问题定义：论文旨在解决图推荐器(GR)与图对比学习(GCL)之间理论联系缺失的问题。现有方法通常将GCL视为无监督方法，需要额外的微调，无法充分利用GCL的潜力。缺乏理论支撑也限制了GR模型的改进和创新。

核心思路：论文的核心思路是通过理论分析，证明GR模型在特定条件下等价于单视图GCL模型。通过建立这种等价关系，可以将GCL的理论成果应用于GR，反之亦然，从而促进两个领域的发展。

技术框架：论文主要分为两个部分：首先，证明GR中的经典编码器本质上是一个具有one-hot输入的线性图卷积网络。其次，证明GR中的损失函数可以被具有特定超参数的单视图GCL损失所约束。基于这两个结论，论文建立了GR与GCL之间的桥梁。

关键创新：论文最重要的创新在于从理论上证明了GR与单视图GCL的等价性。这一发现颠覆了以往对GCL的认知，表明GCL不仅可以作为无监督方法使用，还可以直接用于训练GR模型，无需额外的微调。

关键设计：论文的关键设计包括：(1)对GR编码器进行线性化处理，使其与GCL的编码器形式一致；(2)推导GR损失函数与GCL损失函数之间的关系，找到合适的超参数，使得GCL损失能够约束GR损失。论文还讨论了删除自环和非线性激活函数对GR性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，推荐损失和GCL损失可以互换使用，并且仅使用GCL损失即可训练GR模型，无需额外的微调。这一结果具有重要意义，因为它表明GCL可以作为一种有效的监督学习方法来训练GR模型。该研究为GCL在推荐系统中的应用开辟了新的道路。

🎯 应用场景

该研究成果可应用于推荐系统、社交网络分析、知识图谱等领域。通过将GCL应用于GR，可以提升推荐系统的性能和泛化能力。此外，该研究也为GCL的应用提供了新的思路，例如，可以将GCL应用于其他需要图表示学习的任务中。

📄 摘要（原文）

Graph recommender (GR) is a type of graph neural network (GNNs) encoder that is customized for extracting information from the user-item interaction graph. Due to its strong performance on the recommendation task, GR has gained significant attention recently. Graph contrastive learning (GCL) is also a popular research direction that aims to learn, often unsupervised, GNNs with certain contrastive objectives. As a general graph representation learning method, GCLs have been widely adopted with the supervised recommendation loss for joint training of GRs. Despite the intersection of GR and GCL research, theoretical understanding of the relationship between the two fields is surprisingly sparse. This vacancy inevitably leads to inefficient scientific research. In this paper, we aim to bridge the gap between the field of GR and GCL from the perspective of encoders and loss functions. With mild assumptions, we theoretically show an astonishing fact that graph recommender is equivalent to a commonly-used single-view graph contrastive model. Specifically, we find that (1) the classic encoder in GR is essentially a linear graph convolutional network with one-hot inputs, and (2) the loss function in GR is well bounded by a single-view GCL loss with certain hyperparameters. The first observation enables us to explain crucial designs of GR models, e.g., the removal of self-loop and nonlinearity. And the second finding can easily prompt many cross-field research directions. We empirically show a remarkable result that the recommendation loss and the GCL loss can be used interchangeably. The fact that we can train GR models solely with the GCL loss is particularly insightful, since before this work, GCLs were typically viewed as unsupervised methods that need fine-tuning. We also discuss some potential future works inspired by our theory.