Polynomial Contrastive Learning for Privacy-Preserving Representation Learning on Graphs

📄 arXiv: 2509.25205v1 📥 PDF

作者: Daksh Pandey

分类: cs.LG, cs.CR, math.RA

发布日期: 2025-09-19

💡 一句话要点

提出Poly-GRACE，实现同态加密友好的图神经网络自监督表示学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 图神经网络 自监督学习 同态加密 隐私保护 图表示学习

📋 核心要点

  1. 现有图自监督学习方法依赖非多项式运算，与同态加密等隐私保护技术不兼容，限制了其在隐私敏感场景的应用。
  2. Poly-GRACE提出了一种完全多项式友好的图卷积网络编码器和基于多项式的对比损失函数，实现同态加密兼容的图自监督学习。
  3. 实验表明，Poly-GRACE在三个基准数据集上实现了与非私有基线相当甚至更优的性能，为隐私保护的图表示学习提供了有效方案。

📝 摘要（中文）

自监督学习(SSL)已成为在图数据上学习表示的强大范例，无需手动标签。然而，像GRACE这样的领先SSL方法由于依赖于非多项式运算，与同态加密(HE)等隐私保护技术根本不兼容。本文介绍了Poly-GRACE，这是一个用于图上HE兼容自监督学习的新框架。我们的方法包括一个完全多项式友好的图卷积网络(GCN)编码器和一个新颖的、基于多项式的对比损失函数。通过在Cora、CiteSeer和PubMed三个基准数据集上的实验，我们证明了Poly-GRACE不仅能够实现私有预训练，而且在性能上与标准非私有基线相比具有很强的竞争力，并且在CiteSeer数据集上优于标准非私有基线。我们的工作代表了在实用和高性能的隐私保护图表示学习方面迈出的重要一步。

🔬 方法详解

问题定义：论文旨在解决图神经网络自监督学习中与同态加密等隐私保护技术不兼容的问题。现有方法，如GRACE，依赖于非多项式运算（例如ReLU、Sigmoid等），这些运算在同态加密下计算复杂度极高甚至不可行，阻碍了图神经网络在隐私敏感数据上的应用。

核心思路：Poly-GRACE的核心思路是设计一个完全基于多项式运算的图神经网络框架，包括编码器和对比损失函数。由于同态加密对多项式运算具有天然的友好性，因此可以高效地进行隐私保护的图表示学习。通过将所有操作都转换为多项式形式，可以在加密状态下进行计算，从而保护数据的隐私。

技术框架：Poly-GRACE的整体框架包括以下几个主要模块：1) 多项式GCN编码器：使用多项式函数近似标准GCN中的激活函数和归一化操作，将图结构数据编码为低维表示。2) 图增强模块：采用随机节点/边丢弃等方式生成图的两个不同视图。3) 多项式对比损失函数：设计基于多项式的对比损失函数，用于学习不同视图之间的一致性表示。

关键创新：Poly-GRACE最重要的技术创新点在于其完全多项式化的设计。与现有方法相比，它避免了非多项式运算，从而能够与同态加密等隐私保护技术无缝集成。这种设计使得在加密数据上进行图神经网络的训练和推理成为可能，极大地拓展了图神经网络的应用范围。

关键设计：Poly-GRACE的关键设计包括：1) 使用切比雪夫多项式近似ReLU等非线性激活函数。2) 使用多项式函数近似图卷积中的归一化操作。3) 设计基于多项式的对比损失函数，例如使用多项式核函数计算相似度。4) 通过调整多项式的阶数来控制模型的复杂度和计算效率。

📊 实验亮点

实验结果表明，Poly-GRACE在Cora、CiteSeer和PubMed三个基准数据集上取得了与非私有基线相当甚至更优的性能。特别是在CiteSeer数据集上，Poly-GRACE的性能优于标准非私有基线。这表明Poly-GRACE不仅能够实现隐私保护，而且能够保持较高的模型性能。

🎯 应用场景

Poly-GRACE在医疗健康、金融风控、社交网络分析等隐私敏感领域具有广泛的应用前景。例如，在医疗领域，可以利用Poly-GRACE对患者的基因数据、病历数据等进行隐私保护的图表示学习，从而发现疾病之间的关联，辅助医生进行诊断和治疗。在金融领域，可以用于构建隐私保护的反欺诈模型，识别潜在的金融风险。在社交网络分析中，可以保护用户的社交关系数据，同时进行社区发现和用户行为分析。

📄 摘要（原文）

Self-supervised learning (SSL) has emerged as a powerful paradigm for learning representations on graph data without requiring manual labels. However, leading SSL methods like GRACE are fundamentally incompatible with privacy-preserving technologies such as Homomorphic Encryption (HE) due to their reliance on non-polynomial operations. This paper introduces Poly-GRACE, a novel framework for HE-compatible self-supervised learning on graphs. Our approach consists of a fully polynomial-friendly Graph Convolutional Network (GCN) encoder and a novel, polynomial-based contrastive loss function. Through experiments on three benchmark datasets -- Cora, CiteSeer, and PubMed -- we demonstrate that Poly-GRACE not only enables private pre-training but also achieves performance that is highly competitive with, and in the case of CiteSeer, superior to the standard non-private baseline. Our work represents a significant step towards practical and high-performance privacy-preserving graph representation learning.