Top K Enhanced Reinforcement Learning Attacks on Heterogeneous Graph Node Classification

📄 arXiv: 2408.01964v2 📥 PDF

作者: Honglin Gao, Xiang Li, Yajuan Sun, Gaoxi Xiao

分类: cs.LG, cs.AI

发布日期: 2024-08-04 (更新: 2025-09-18)

💡 一句话要点

提出HeteroKRLAttack，一种针对异构图节点分类的Top-K增强强化学习攻击方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异构图 图神经网络 对抗攻击 强化学习 Top-K算法 节点分类 黑盒攻击

📋 核心要点

  1. 图神经网络在图数据上表现出色，但其在异构图上的鲁棒性，尤其是在对抗攻击下的表现，仍需深入研究。
  2. HeteroKRLAttack将强化学习与Top-K算法结合，通过减少动作空间，高效地找到破坏节点分类任务的有效攻击策略。
  3. 实验表明，HeteroKRLAttack能显著降低异构图节点分类的准确率，消融实验验证了Top-K算法对攻击性能的关键作用。

📝 摘要（中文）

图神经网络(GNNs)因其在图数据上的卓越性能而备受关注。然而，它们的鲁棒性，尤其是在异构图上，仍有待探索，特别是针对对抗性攻击。本文提出了一种针对异构图的有目标性的逃逸黑盒攻击方法HeteroKRLAttack。通过将强化学习与Top-K算法相结合来减少动作空间，我们的方法有效地识别出破坏节点分类任务的有效攻击策略。我们通过在多个异构图数据集上的实验验证了HeteroKRLAttack的有效性，与基线方法相比，分类精度显著降低。一项消融研究强调了Top-K算法在提高攻击性能方面的关键作用。我们的研究结果突出了当前模型中潜在的漏洞，并为未来针对异构图对抗性攻击的防御策略提供了指导。

🔬 方法详解

问题定义：论文旨在解决异构图节点分类任务中，图神经网络容易受到对抗攻击的问题。现有的攻击方法在异构图上的效果不佳，尤其是在黑盒攻击场景下，因为异构图的复杂结构导致攻击空间巨大，难以找到有效的攻击策略。

核心思路：论文的核心思路是利用强化学习来学习最优的攻击策略，并通过Top-K算法来减少强化学习的动作空间。通过强化学习，智能体可以学习如何在异构图上选择哪些节点和边进行修改，以最大程度地降低目标节点的分类准确率。Top-K算法则用于筛选出最有希望的攻击目标，从而降低动作空间，提高学习效率。

技术框架：HeteroKRLAttack的整体框架包含以下几个主要模块：1) 异构图环境建模：将异构图节点分类任务建模成一个马尔可夫决策过程(MDP)。2) 强化学习智能体：使用深度Q网络(DQN)作为智能体，学习最优的攻击策略。3) Top-K动作选择：在每个时间步，使用Top-K算法选择最有希望的K个攻击目标。4) 奖励函数设计：设计奖励函数，鼓励智能体选择能够有效降低目标节点分类准确率的攻击动作。

关键创新：该方法最重要的创新点在于将强化学习与Top-K算法相结合，有效地解决了异构图对抗攻击中动作空间过大的问题。与传统的基于梯度或启发式的攻击方法相比，HeteroKRLAttack可以在黑盒场景下，通过学习的方式找到更有效的攻击策略。

关键设计：在具体实现上，论文可能涉及以下关键设计：1) 状态表示：如何将异构图的状态信息编码成强化学习智能体可以理解的向量表示。2) 动作空间：如何定义强化学习的动作空间，例如，可以选择哪些节点和边进行修改。3) 奖励函数：如何设计奖励函数，以鼓励智能体选择能够有效降低目标节点分类准确率的攻击动作。4) Top-K算法的具体实现：如何选择合适的Top-K算法，以及如何设置K的值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HeteroKRLAttack在多个异构图数据集上显著降低了节点分类的准确率，证明了其攻击的有效性。与基线方法相比，HeteroKRLAttack在攻击成功率和攻击效率方面均有显著提升。消融实验进一步验证了Top-K算法在提高攻击性能方面的关键作用。

🎯 应用场景

该研究成果可应用于评估和提升图神经网络在异构图上的鲁棒性，尤其是在安全攸关的应用场景，如社交网络分析、金融风控、推荐系统等。通过模拟对抗攻击，可以发现模型潜在的漏洞，并指导开发更具防御能力的图神经网络模型，从而提高系统的安全性和可靠性。

📄 摘要（原文）

Graph Neural Networks (GNNs) have attracted substantial interest due to their exceptional performance on graph-based data. However, their robustness, especially on heterogeneous graphs, remains underexplored, particularly against adversarial attacks. This paper proposes HeteroKRLAttack, a targeted evasion black-box attack method for heterogeneous graphs. By integrating reinforcement learning with a Top-K algorithm to reduce the action space, our method efficiently identifies effective attack strategies to disrupt node classification tasks. We validate the effectiveness of HeteroKRLAttack through experiments on multiple heterogeneous graph datasets, showing significant reductions in classification accuracy compared to baseline methods. An ablation study underscores the critical role of the Top-K algorithm in enhancing attack performance. Our findings highlight potential vulnerabilities in current models and provide guidance for future defense strategies against adversarial attacks on heterogeneous graphs.