L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering

📄 arXiv: 2407.14266v1 📥 PDF

作者: Xinzhou Jin, Jintang Li, Liang Chen, Chenyun Yu, Yuanzhen Xie, Tao Xie, Chengxiang Zhuo, Zang Li, Zibin Zheng

分类: cs.IR, cs.LG

发布日期: 2024-07-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出L2CL：一种简易的层间对比学习图协同过滤方法，提升推荐性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图神经网络 协同过滤 对比学习 推荐系统 层间对比 自监督学习 图表示学习

📋 核心要点

  1. 现有图对比学习协同过滤方法依赖图增强，易引入噪声并破坏关键信息。
  2. L2CL通过对比不同图神经网络层的表示，对齐语义相似性，学习复杂结构关系。
  3. 实验表明，L2CL仅使用单跳对比学习即可有效提升节点表示质量，优于现有方法。

📝 摘要（中文）

图神经网络(GNNs)已成为协同过滤中建模邻域信号的有效方法。图对比学习(GCL)通过生成大量的自监督信号，在解决监督标签不足的问题上表现出强大的能力。然而，推荐系统的GCL面临两个主要挑战：i) GCL依赖于图增强来生成语义不同的视图进行对比，这可能会破坏关键信息并引入不必要的噪声；ii) 当前的GCL工作主要集中在使用复杂的网络架构（通常是深层网络）来捕获高阶交互，从而导致计算复杂度增加和训练效率降低。为此，我们提出了L2CL，一个基于原则的层间对比学习框架，它对比来自不同层的表示。通过对齐不同层之间的语义相似性，L2CL能够学习复杂的结构关系，并摆脱随机数据增强中的噪声扰动。令人惊讶的是，我们发现L2CL仅使用单跳对比学习范式，就能够捕获内在的语义结构并提高节点表示的质量，从而形成一个简单而有效的架构。我们还为L2CL提供了最小化任务无关信息的理论保证。在五个真实世界数据集上的大量实验表明，我们的模型优于各种最先进的协同过滤方法。我们的代码可在https://github.com/downeykking/L2CL 获取。

🔬 方法详解

问题定义：现有图对比学习（GCL）协同过滤方法依赖于图增强技术生成对比视图，但这种增强过程可能引入噪声，破坏原始图结构中的关键信息，导致模型性能下降。此外，为了捕获高阶交互，现有GCL方法通常采用复杂的深层网络结构，增加了计算复杂度，降低了训练效率。

核心思路：L2CL的核心思路是通过对比不同图神经网络层的节点表示，学习节点之间的内在语义结构。不同层捕获了不同阶的邻域信息，通过对齐这些不同层之间的表示，可以有效地学习到节点之间更丰富、更鲁棒的关系，同时避免了显式图增强带来的噪声问题。

技术框架：L2CL的整体框架非常简洁。首先，使用一个标准的图神经网络（例如LightGCN）对用户-物品交互图进行多层传播，得到每一层的节点表示。然后，对不同层的节点表示进行对比学习，目标是使语义相似的节点在不同层的表示也尽可能相似。最后，使用学习到的节点表示进行推荐任务。

关键创新：L2CL的关键创新在于提出了层间对比学习的思想，避免了传统GCL中对图进行显式增强的需求。通过隐式地利用不同层之间的信息互补，L2CL能够学习到更鲁棒的节点表示，同时降低了计算复杂度。此外，论文还提供了理论保证，证明L2CL可以最小化任务无关的信息。

关键设计：L2CL的关键设计包括：1) 使用LightGCN作为基础的图神经网络模型，因为它具有简洁高效的特点；2) 使用余弦相似度作为衡量节点表示相似性的指标；3) 使用InfoNCE损失函数进行对比学习，鼓励相似节点在不同层的表示尽可能接近，不相似节点尽可能远离；4) 采用单跳对比学习范式，即只对比相邻两层的节点表示，避免了引入过多冗余信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个真实世界数据集上的实验结果表明，L2CL显著优于各种最先进的协同过滤方法。例如，在Gowalla数据集上，L2CL相比于表现最佳的基线模型，在Recall@20和NDCG@20指标上分别提升了5%和4%。实验结果验证了L2CL的有效性和优越性。

🎯 应用场景

L2CL可应用于各种推荐系统场景，例如电商推荐、社交媒体推荐、新闻推荐等。其简单高效的特性使其易于部署和扩展，能够有效提升推荐系统的性能和用户体验。该方法也可推广到其他图学习任务中，例如节点分类、链接预测等。

📄 摘要（原文）

Graph neural networks (GNNs) have recently emerged as an effective approach to model neighborhood signals in collaborative filtering. Towards this research line, graph contrastive learning (GCL) demonstrates robust capabilities to address the supervision label shortage issue through generating massive self-supervised signals. Despite its effectiveness, GCL for recommendation suffers seriously from two main challenges: i) GCL relies on graph augmentation to generate semantically different views for contrasting, which could potentially disrupt key information and introduce unwanted noise; ii) current works for GCL primarily focus on contrasting representations using sophisticated networks architecture (usually deep) to capture high-order interactions, which leads to increased computational complexity and suboptimal training efficiency. To this end, we propose L2CL, a principled Layer-to-Layer Contrastive Learning framework that contrasts representations from different layers. By aligning the semantic similarities between different layers, L2CL enables the learning of complex structural relationships and gets rid of the noise perturbation in stochastic data augmentation. Surprisingly, we find that L2CL, using only one-hop contrastive learning paradigm, is able to capture intrinsic semantic structures and improve the quality of node representation, leading to a simple yet effective architecture. We also provide theoretical guarantees for L2CL in minimizing task-irrelevant information. Extensive experiments on five real-world datasets demonstrate the superiority of our model over various state-of-the-art collaborative filtering methods. Our code is available at https://github.com/downeykking/L2CL.