Large Language Models for Link Stealing Attacks Against Graph Neural Networks

📄 arXiv: 2406.16963v1 📥 PDF

作者: Faqian Guan, Tianqing Zhu, Hui Sun, Wanlei Zhou, Philip S. Yu

分类: cs.LG, cs.AI, cs.CR, cs.SI

发布日期: 2024-06-22

💡 一句话要点

提出基于大语言模型的图神经网络链接窃取攻击方法，提升攻击性能和泛化性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 链接窃取攻击 大语言模型 隐私安全 提示工程

📋 核心要点

  1. 现有链接窃取攻击忽略节点特征，且难以泛化到具有不同节点类别的数据集。
  2. 利用大语言模型整合节点文本特征和后验概率，通过提示工程和微调实现链接窃取。
  3. 实验表明，该方法在白盒和黑盒场景下均显著提升了链接窃取攻击的性能和泛化能力。

📝 摘要（中文）

图数据包含丰富的节点特征和独特的边信息，已被广泛应用于引文网络、推荐系统等领域。图神经网络(GNNs)专门用于处理此类数据，并在许多应用中表现出令人印象深刻的性能。然而，GNN可能包含敏感信息，容易受到隐私攻击。链接窃取是一种攻击，攻击者推断两个节点是否连接。以往的链接窃取攻击主要依赖于目标GNN模型的后验概率，忽略了节点特征的重要性。此外，不同数据集的节点类别差异导致后验概率的维度不同，这给使用单一模型有效攻击不同数据集带来了挑战。为了解决这些挑战，我们引入大语言模型(LLMs)对GNN进行链接窃取攻击。LLM可以有效地整合文本特征，并表现出强大的泛化能力，使攻击能够处理不同数据集的各种数据维度。我们设计了两种不同的LLM提示，以有效地结合图节点的文本特征和后验概率。通过这些设计的提示，我们对LLM进行微调，使其适应链接窃取攻击任务。此外，我们使用多个数据集对LLM进行微调，使LLM能够同时学习来自不同数据集的特征。实验结果表明，我们的方法显著提高了现有链接窃取攻击任务在白盒和黑盒场景下的性能。我们的方法可以使用单个模型跨不同数据集执行链接窃取攻击，使链接窃取攻击更适用于实际场景。

🔬 方法详解

问题定义：论文旨在解决图神经网络(GNNs)的链接窃取攻击问题。现有方法主要依赖GNN模型的后验概率，忽略了节点特征的重要性，并且难以泛化到具有不同节点类别的数据集上，导致攻击效果受限。

核心思路：论文的核心思路是利用大语言模型(LLMs)强大的文本理解和泛化能力，将节点特征（文本描述）和GNN的后验概率结合起来，从而提升链接窃取攻击的性能和泛化性。LLM能够处理不同数据集带来的数据维度差异，实现跨数据集的攻击。

技术框架：整体框架包括以下几个主要步骤：1) 获取目标GNN模型的后验概率；2) 将节点特征转化为文本描述；3) 设计LLM提示，将文本特征和后验概率结合；4) 使用多个数据集对LLM进行微调，使其适应链接窃取攻击任务。

关键创新：最重要的技术创新点在于利用LLM进行链接窃取攻击。与传统方法相比，该方法能够有效整合节点特征，并具备更强的泛化能力，可以跨不同数据集进行攻击。此外，通过设计特定的LLM提示，可以更好地利用LLM的文本理解能力。

关键设计：论文设计了两种不同的LLM提示，用于结合文本特征和后验概率。具体的提示内容和格式未知，但其目的是引导LLM学习链接窃取任务。此外，论文使用多个数据集对LLM进行微调，以提高其泛化能力。具体的微调参数设置、损失函数等技术细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法显著提高了现有链接窃取攻击任务在白盒和黑盒场景下的性能。该方法可以使用单个模型跨不同数据集执行链接窃取攻击，体现了其强大的泛化能力。具体的性能提升幅度未知，但论文强调了其优于现有方法的显著性。

🎯 应用场景

该研究成果可应用于评估和增强图神经网络的隐私安全性，尤其是在推荐系统、社交网络、知识图谱等涉及敏感信息的应用场景中。通过模拟链接窃取攻击，可以发现GNN的潜在漏洞，并采取相应的防御措施，保护用户隐私和数据安全。未来，该方法可以扩展到其他类型的图神经网络攻击和防御任务中。

📄 摘要（原文）

Graph data contains rich node features and unique edge information, which have been applied across various domains, such as citation networks or recommendation systems. Graph Neural Networks (GNNs) are specialized for handling such data and have shown impressive performance in many applications. However, GNNs may contain of sensitive information and susceptible to privacy attacks. For example, link stealing is a type of attack in which attackers infer whether two nodes are linked or not. Previous link stealing attacks primarily relied on posterior probabilities from the target GNN model, neglecting the significance of node features. Additionally, variations in node classes across different datasets lead to different dimensions of posterior probabilities. The handling of these varying data dimensions posed a challenge in using a single model to effectively conduct link stealing attacks on different datasets. To address these challenges, we introduce Large Language Models (LLMs) to perform link stealing attacks on GNNs. LLMs can effectively integrate textual features and exhibit strong generalizability, enabling attacks to handle diverse data dimensions across various datasets. We design two distinct LLM prompts to effectively combine textual features and posterior probabilities of graph nodes. Through these designed prompts, we fine-tune the LLM to adapt to the link stealing attack task. Furthermore, we fine-tune the LLM using multiple datasets and enable the LLM to learn features from different datasets simultaneously. Experimental results show that our approach significantly enhances the performance of existing link stealing attack tasks in both white-box and black-box scenarios. Our method can execute link stealing attacks across different datasets using only a single model, making link stealing attacks more applicable to real-world scenarios.