Label-free Node Classification on Graphs with Large Language Models (LLMS)

📄 arXiv: 2310.04668v3 📥 PDF

作者: Zhikai Chen, Haitao Mao, Hongzhi Wen, Haoyu Han, Wei Jin, Haiyang Zhang, Hui Liu, Jiliang Tang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-10-07 (更新: 2024-02-24)

备注: The code is available via https://github.com/CurryTang/LLMGNN; ICLR 2024

💡 一句话要点

提出LLM-GNN以解决图节点分类中的标签依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 大型语言模型 节点分类 无标签学习 数据稀缺 置信度选择 注释质量

📋 核心要点

  1. 现有的图神经网络方法依赖大量高质量标签，导致在标签稀缺情况下性能下降。
  2. 本文提出LLM-GNN，通过利用大型语言模型对少量节点进行标注，进而训练GNN进行大规模节点分类。
  3. 实验结果显示，LLM-GNN在大规模数据集上实现74.9%的准确率，且成本显著低于传统方法。

📝 摘要（中文）

近年来，图神经网络（GNN）在节点分类方面取得了显著进展，但其性能依赖于大量高质量标签。相比之下，大型语言模型（LLM）在文本属性图上展现出卓越的零-shot 能力，但在处理结构化数据时效率低下且推理成本高。为此，本文提出了一种基于LLM的无标签节点分类管道LLM-GNN，结合了GNN和LLM的优势，同时减轻了各自的局限性。具体而言，LLM用于标注少量节点，然后利用GNN在LLM的标注基础上对其余节点进行预测。通过开发注释质量启发式方法，利用LLM的置信度分数进行节点选择，从而提升GNN的训练效果。实验结果表明，LLM-GNN在大规模数据集上实现了74.9%的准确率，且成本低于1美元。

🔬 方法详解

问题定义：本文旨在解决图节点分类中对大量高质量标签的依赖问题。现有的GNN方法在标签稀缺的情况下性能显著下降，限制了其应用。

核心思路：论文提出的LLM-GNN方法通过结合LLM和GNN的优势，利用LLM对少量节点进行标注，然后用GNN进行大规模节点的预测，从而减少对标签的需求。

技术框架：LLM-GNN的整体架构包括两个主要阶段：首先，使用LLM对选定的少量节点进行标注；其次，基于这些标注训练GNN模型，以预测未标注节点的类别。

关键创新：最重要的创新在于提出了一种注释质量启发式方法，通过LLM的置信度分数来选择节点进行标注，从而提高了GNN的训练效果和预测准确性。

关键设计：在设计中，采用了基于置信度的节点选择策略，确保所选节点具有高代表性和多样性。此外，损失函数和网络结构经过优化，以适应LLM与GNN的结合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-GNN在大规模数据集上达到了74.9%的准确率，相较于传统GNN方法，成本低于1美元，展示了其在节点分类任务中的高效性和经济性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、生物信息学和推荐系统等。通过减少对标签的依赖，LLM-GNN能够在数据稀缺的情况下仍然实现高效的节点分类，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

In recent years, there have been remarkable advancements in node classification achieved by Graph Neural Networks (GNNs). However, they necessitate abundant high-quality labels to ensure promising performance. In contrast, Large Language Models (LLMs) exhibit impressive zero-shot proficiency on text-attributed graphs. Yet, they face challenges in efficiently processing structural data and suffer from high inference costs. In light of these observations, this work introduces a label-free node classification on graphs with LLMs pipeline, LLM-GNN. It amalgamates the strengths of both GNNs and LLMs while mitigating their limitations. Specifically, LLMs are leveraged to annotate a small portion of nodes and then GNNs are trained on LLMs' annotations to make predictions for the remaining large portion of nodes. The implementation of LLM-GNN faces a unique challenge: how can we actively select nodes for LLMs to annotate and consequently enhance the GNN training? How can we leverage LLMs to obtain annotations of high quality, representativeness, and diversity, thereby enhancing GNN performance with less cost? To tackle this challenge, we develop an annotation quality heuristic and leverage the confidence scores derived from LLMs to advanced node selection. Comprehensive experimental results validate the effectiveness of LLM-GNN. In particular, LLM-GNN can achieve an accuracy of 74.9% on a vast-scale dataset \products with a cost less than 1 dollar.