RELIEF: Reinforcement Learning Empowered Graph Feature Prompt Tuning
作者: Jiapeng Zhu, Zichen Ding, Jianxiang Yu, Jiaqi Tan, Xiang Li, Weining Qian
分类: cs.LG
发布日期: 2024-08-06 (更新: 2025-01-17)
备注: Accepted by SIGKDD 2025 (camera-ready version). Due to the space limitation, please refer to the V2 version for more details
🔗 代码/项目: GITHUB
💡 一句话要点
提出RELIEF，利用强化学习优化图特征提示调优，提升图表示学习的泛化性和数据效率。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 图神经网络 提示学习 强化学习 图表示学习 特征提示
📋 核心要点
- 现有图提示调优方法存在局限性，要么依赖特定预训练策略，要么需要对所有节点添加特征提示，效率较低。
- RELIEF的核心思想是借鉴NLP的提示调优经验，通过强化学习智能地选择节点并添加轻量级特征提示，提升性能。
- 实验结果表明，RELIEF在图和节点级任务上，相比微调和其他提示方法，在分类性能和数据效率方面均有显著提升。
📝 摘要（中文）
本文针对图表示学习中“预训练，提示”范式的泛化能力和数据效率问题，提出了一种新的图特征提示调优方法RELIEF。现有方法或依赖于特定的预训练策略，或需要将特征提示添加到所有节点。RELIEF受NLP领域提示调优研究的启发，通过强化学习策略性地将轻量级特征提示添加到特定图节点，从而增强下游任务的性能。该方法将提示合并过程建模为序列决策问题，强化学习智能体在每一步选择一个节点（离散动作）并确定提示内容（连续动作），以最大化累积性能增益。在少量样本场景下，对图和节点级任务的广泛实验表明，RELIEF在分类性能和数据效率方面优于微调和其他基于提示的方法。
🔬 方法详解
问题定义：现有图提示调优方法存在局限性。一些方法依赖于特定的预训练策略，限制了其通用性。另一些方法则需要将特征提示添加到图中的所有节点，这可能引入冗余信息，降低效率，并且忽略了不同节点对下游任务的重要性差异。因此，如何选择合适的节点添加必要的、轻量级的特征提示，以提升下游任务性能，是一个亟待解决的问题。
核心思路：RELIEF的核心思路是借鉴NLP领域的研究发现，即强大的预训练模型只需要较少的条件信号就能达到期望的效果。因此，RELIEF不再是对所有节点添加提示，而是通过强化学习智能地选择一部分节点，并为这些节点添加轻量级的特征提示。这种策略性的提示方式可以减少冗余信息，提高效率，并更好地利用预训练模型的知识。
技术框架：RELIEF将提示合并过程建模为一个序列决策问题。整体框架包含以下几个主要模块：1) 环境：图数据和预训练的GNN模型；2) 智能体：一个强化学习模型，负责选择节点和生成提示；3) 动作空间：离散动作空间表示选择哪个节点，连续动作空间表示要添加的特征提示的内容；4) 奖励函数：基于下游任务的性能提升来设计，鼓励智能体选择能够带来性能提升的节点和提示。智能体通过与环境交互，不断学习优化策略，最终找到最佳的节点选择和提示内容。
关键创新：RELIEF的关键创新在于：1) 策略性节点选择：不再对所有节点添加提示，而是通过强化学习选择一部分节点，更加高效；2) 强化学习优化：将提示合并过程建模为序列决策问题，利用强化学习自动学习最佳的节点选择和提示内容，避免了手动设计的繁琐；3) 轻量级提示：添加的提示是轻量级的，避免引入过多的噪声，更好地利用预训练模型的知识。
关键设计：在强化学习方面，RELIEF使用Actor-Critic框架，Actor网络负责选择节点和生成提示，Critic网络负责评估当前状态的价值。奖励函数的设计至关重要，论文中使用了基于下游任务性能提升的奖励函数，例如分类准确率的提升。此外，为了平衡探索和利用，还引入了探索噪声。具体的网络结构和参数设置可以在论文的实验部分找到。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RELIEF在图和节点级别的分类任务上，相比于微调和其他基于提示的方法，取得了显著的性能提升。例如，在某些数据集上，RELIEF的分类准确率提升了5%以上，并且在少量样本的情况下，RELIEF的数据效率更高，能够更快地达到最佳性能。
🎯 应用场景
RELIEF可应用于各种图表示学习任务，例如社交网络分析、生物信息学、化学信息学等。通过选择性地添加特征提示，可以提升下游任务的性能和数据效率，尤其是在数据量有限的场景下。该方法还可以应用于其他类型的图神经网络模型和预训练策略，具有广泛的应用前景。
📄 摘要（原文）
The advent of the "pre-train, prompt" paradigm has recently extended its generalization ability and data efficiency to graph representation learning, following its achievements in Natural Language Processing (NLP). Initial graph prompt tuning approaches tailored specialized prompting functions for Graph Neural Network (GNN) models pre-trained with specific strategies, such as edge prediction, thus limiting their applicability. In contrast, another pioneering line of research has explored universal prompting via adding prompts to the input graph's feature space, thereby removing the reliance on specific pre-training strategies. However, the necessity to add feature prompts to all nodes remains an open question. Motivated by findings from prompt tuning research in the NLP domain, which suggest that highly capable pre-trained models need less conditioning signal to achieve desired behaviors, we advocate for strategically incorporating necessary and lightweight feature prompts to certain graph nodes to enhance downstream task performance. This introduces a combinatorial optimization problem, requiring a policy to decide 1) which nodes to prompt and 2) what specific feature prompts to attach. We then address the problem by framing the prompt incorporation process as a sequential decision-making problem and propose our method, RELIEF, which employs Reinforcement Learning (RL) to optimize it. At each step, the RL agent selects a node (discrete action) and determines the prompt content (continuous action), aiming to maximize cumulative performance gain. Extensive experiments on graph and node-level tasks with various pre-training strategies in few-shot scenarios demonstrate that our RELIEF outperforms fine-tuning and other prompt-based approaches in classification performance and data efficiency. The code is available at https://github.com/JasonZhujp/RELIEF.