Node Embeddings via Neighbor Embeddings

📄 arXiv: 2503.23822v2 📥 PDF

作者: Jan Niklas Böhm, Marius Keute, Alica Guzmán, Sebastian Damrich, Andrew Draganov, Dmitry Kobak

分类: cs.LG

发布日期: 2025-03-31 (更新: 2025-11-24)

备注: Accepted to Transactions of Machine Learning Research (TMLR)

💡 一句话要点

提出图邻居嵌入(graph NE)框架，直接聚合相邻节点嵌入向量，提升局部结构保持能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 图嵌入 节点嵌入 邻居嵌入 图神经网络 局部结构保持

📋 核心要点

  1. 现有节点嵌入方法依赖随机游走和对比学习，难以有效保持图的局部结构。
  2. Graph NE框架直接聚合相邻节点的嵌入向量，避免了随机游走带来的信息损失。
  3. 实验表明Graph NE在局部结构保持和2D图布局任务上优于现有算法。

📝 摘要（中文）

节点嵌入是一种非参数图表示学习范式，它将图节点嵌入到给定的向量空间中，以便进行下游处理。目前最先进的节点嵌入算法，如DeepWalk和node2vec，都基于节点相似性的随机游走概念和对比学习。本文提出了图邻居嵌入(graph NE)框架，该框架直接将相邻节点的嵌入向量拉到一起，而无需依赖任何随机游走。实验表明，在局部结构保持方面，graph NE明显优于最先进的节点嵌入算法。此外，我们将graph NE应用于2D节点嵌入问题，获得了优于现有图布局算法的graph t-SNE布局。

🔬 方法详解

问题定义：现有节点嵌入方法，如DeepWalk和node2vec，依赖于随机游走来捕捉节点之间的关系。这种方法的痛点在于，随机游走可能无法有效地捕捉图的局部结构，并且对比学习的训练方式也可能引入噪声。因此，如何更直接、更有效地保持图的局部结构是本文要解决的问题。

核心思路：本文的核心思路是直接将相邻节点的嵌入向量拉近，即让相邻节点的嵌入向量在向量空间中尽可能地靠近。这种方法避免了随机游走带来的信息损失，并且更加直接地反映了图的局部结构。

技术框架：Graph NE框架的核心思想是最小化一个损失函数，该损失函数衡量了相邻节点嵌入向量之间的距离。具体来说，对于图中的每个节点，Graph NE会将其嵌入向量与其相邻节点的嵌入向量进行比较，并计算一个损失值。然后，通过优化这个损失函数，Graph NE可以学习到一组节点嵌入向量，使得相邻节点的嵌入向量尽可能地靠近。

关键创新：Graph NE最重要的技术创新点在于它直接聚合相邻节点的嵌入向量，而无需依赖任何随机游走。这种方法更加直接、更加高效，并且能够更好地保持图的局部结构。与现有方法相比，Graph NE的本质区别在于它避免了随机游走带来的信息损失，并且更加关注图的局部结构。

关键设计：Graph NE的关键设计在于损失函数的选择。一种常用的损失函数是平方损失函数，它可以衡量相邻节点嵌入向量之间的欧氏距离。另一种常用的损失函数是余弦相似度损失函数，它可以衡量相邻节点嵌入向量之间的角度。此外，Graph NE还可以使用不同的优化算法来优化损失函数，例如梯度下降法和Adam算法。参数设置方面，需要根据具体的图结构和任务来调整嵌入向量的维度和学习率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Graph NE在局部结构保持方面明显优于最先进的节点嵌入算法，例如DeepWalk和node2vec。具体来说，Graph NE在多个数据集上的局部结构保持指标上取得了显著的提升。此外，Graph NE在2D节点嵌入问题上也取得了优异的性能，获得了优于现有图布局算法的graph t-SNE布局。这些实验结果充分证明了Graph NE的有效性和优越性。

🎯 应用场景

Graph NE具有广泛的应用前景，例如社交网络分析、推荐系统、生物信息学等。在社交网络分析中，Graph NE可以用于识别社区结构和预测用户行为。在推荐系统中，Graph NE可以用于发现用户之间的相似性，并为用户推荐他们可能感兴趣的商品或服务。在生物信息学中，Graph NE可以用于分析蛋白质之间的相互作用，并预测蛋白质的功能。未来，Graph NE有望在更多领域得到应用，并为解决实际问题提供新的思路。

📄 摘要（原文）

Node embeddings are a paradigm in non-parametric graph representation learning, where graph nodes are embedded into a given vector space to enable downstream processing. State-of-the-art node-embedding algorithms, such as DeepWalk and node2vec, are based on random-walk notions of node similarity and on contrastive learning. In this work, we introduce the graph neighbor-embedding (graph NE) framework that directly pulls together embedding vectors of adjacent nodes without relying on any random walks. We show that graph NE strongly outperforms state-of-the-art node-embedding algorithms in terms of local structure preservation. Furthermore, we apply graph NE to the 2D node-embedding problem, obtaining graph t-SNE layouts that also outperform existing graph-layout algorithms.