Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs

📄 arXiv: 2310.09872v2 📥 PDF

作者: Jianxiang Yu, Yuxiang Ren, Chenghua Gong, Jiaqi Tan, Xiang Li, Xuecang Zhang

分类: cs.LG

发布日期: 2023-10-15 (更新: 2024-12-10)

备注: Accepted by AAAI2025

💡 一句话要点

提出LLM4NG以解决文本属性图的少样本学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本学习 文本属性图 大型语言模型 节点生成 图神经网络 边预测器 语义信息提取

📋 核心要点

  1. 现有方法在文本属性图的节点特征获取上依赖词嵌入模型，难以有效处理少样本学习问题。
  2. 本文提出LLM4NG，通过大型语言模型生成节点样本，增强图的文本属性，采用边预测器整合结构信息。
  3. 实验结果显示，LLM4NG在低样本学习场景下表现突出，1-shot设置下在ogbn-arxiv数据集上提升76%。

📝 摘要（中文）

文本属性图因其在网络领域的广泛应用而受到关注。现有方法利用词嵌入模型获取文本表示作为节点特征，并输入图神经网络进行训练。然而，获取和标注大规模数据集既耗时又昂贵，因此少样本学习成为图学习任务中的关键问题。为此，本文提出了一种轻量级范式LLM4NG，通过使用大型语言模型（LLMs）进行节点生成，增强文本属性图的能力。具体而言，我们利用LLMs从标签中提取语义信息，并生成属于这些类别的样本作为示例。随后，采用边预测器捕捉原始数据集中的结构信息，并将新生成的样本整合到原始图中，从而在少样本场景中促进节点分类任务。实验结果表明，LLM4NG在低样本场景下表现优异，例如在ogbn-arxiv数据集的1-shot设置中，LLM4NG较基线模型提升了76%。

🔬 方法详解

问题定义：本文旨在解决文本属性图中的少样本学习问题。现有方法依赖词嵌入模型获取节点特征，无法有效处理数据稀缺的情况，导致模型性能受限。

核心思路：论文提出的LLM4NG范式利用大型语言模型（LLMs）生成节点样本，通过增强文本属性来提升图的学习能力。这种设计旨在通过生成示例来弥补数据不足的问题。

技术框架：LLM4NG的整体架构包括两个主要模块：首先，利用LLMs从标签中提取语义信息并生成样本；其次，使用边预测器捕捉原始数据集的结构信息，并将新生成的样本整合到原始图中。

关键创新：LLM4NG的核心创新在于将大型语言模型应用于节点生成，能够在不修改原始数据集的情况下，增强类级信息并引入标记节点和边。这与传统方法的显著区别在于其灵活性和高效性。

关键设计：在设计中，LLM4NG采用了特定的参数设置以优化生成样本的质量，并通过损失函数来平衡生成样本与原始数据之间的关系。网络结构方面，边预测器的设计确保了结构信息的有效捕捉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM4NG在1-shot设置下的ogbn-arxiv数据集上实现了76%的性能提升，相较于基线模型表现显著优越。这一结果突显了该方法在低样本学习场景中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统和知识图谱构建等。通过提高文本属性图的学习能力，LLM4NG能够在数据稀缺的情况下实现更高效的节点分类，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更多领域的图学习研究，尤其是在少样本学习的场景中。

📄 摘要（原文）

Text-attributed graphs have recently garnered significant attention due to their wide range of applications in web domains. Existing methodologies employ word embedding models for acquiring text representations as node features, which are subsequently fed into Graph Neural Networks (GNNs) for training. Recently, the advent of Large Language Models (LLMs) has introduced their powerful capabilities in information retrieval and text generation, which can greatly enhance the text attributes of graph data. Furthermore, the acquisition and labeling of extensive datasets are both costly and time-consuming endeavors. Consequently, few-shot learning has emerged as a crucial problem in the context of graph learning tasks. In order to tackle this challenge, we propose a lightweight paradigm called LLM4NG, which adopts a plug-and-play approach to empower text-attributed graphs through node generation using LLMs. Specifically, we utilize LLMs to extract semantic information from the labels and generate samples that belong to these categories as exemplars. Subsequently, we employ an edge predictor to capture the structural information inherent in the raw dataset and integrate the newly generated samples into the original graph. This approach harnesses LLMs for enhancing class-level information and seamlessly introduces labeled nodes and edges without modifying the raw dataset, thereby facilitating the node classification task in few-shot scenarios. Extensive experiments demonstrate the outstanding performance of our proposed paradigm, particularly in low-shot scenarios. For instance, in the 1-shot setting of the ogbn-arxiv dataset, LLM4NG achieves a 76% improvement over the baseline model.