Large Language Models on Graphs: A Comprehensive Survey

📄 arXiv: 2312.02783v4 📥 PDF

作者: Bowen Jin, Gang Liu, Chi Han, Meng Jiang, Heng Ji, Jiawei Han

分类: cs.CL, cs.LG

发布日期: 2023-12-05 (更新: 2024-11-20)

备注: 25 pages

期刊: Transactions on Knowledge and Data Engineering (TKDE) 2024

🔗 代码/项目: GITHUB

💡 一句话要点

综述图上的大语言模型：系统性地回顾了LLM在图数据上的应用场景与技术。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 大语言模型 图数据 知识图谱 自然语言处理

📋 核心要点

  1. 现有的大语言模型主要针对纯文本设计，忽略了现实世界中大量存在的图结构数据及其与文本的关联。
  2. 本文对LLM在图数据上的应用进行了系统性综述，涵盖了纯图、文本属性图和文本配对图三种场景。
  3. 论文总结了LLM在图上的应用技术，包括作为预测器、编码器和对齐器，并讨论了实际应用和未来方向。

📝 摘要（中文）

大型语言模型（LLM），如GPT4和LLaMA，凭借其强大的文本编码/解码能力和涌现能力（如推理），正在自然语言处理领域取得显著进展。虽然LLM主要设计用于处理纯文本，但许多现实场景中，文本数据与丰富的图结构信息相关联（如学术网络、电商网络），或者图数据与丰富的文本信息配对（如带有描述的分子）。此外，尽管LLM已展示其纯文本推理能力，但其能力能否推广到图上（即图推理）仍未被充分探索。本文系统性地回顾了与图相关的LLM应用场景和技术。首先，将LLM在图上的潜在应用场景归纳为三类：纯图、文本属性图和文本配对图。然后，讨论了利用LLM的详细技术，包括LLM作为预测器、LLM作为编码器和LLM作为对齐器，并比较了不同模型的优缺点。此外，还讨论了这些方法在现实世界的应用，并总结了开源代码和基准数据集。最后，总结了该快速发展领域中潜在的未来研究方向。相关资源可在https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs找到。

🔬 方法详解

问题定义：现有的大语言模型（LLM）主要针对纯文本数据设计，缺乏直接处理和理解图结构数据的能力。现实世界中存在大量图结构数据，例如社交网络、知识图谱等，这些数据通常包含丰富的关系信息，而现有方法难以有效利用LLM处理这些数据，从而限制了LLM的应用范围。此外，如何将LLM强大的文本推理能力迁移到图推理任务上也是一个挑战。

核心思路：本文的核心思路是将LLM与图数据相结合，通过不同的技术手段，使LLM能够理解和利用图结构信息。具体而言，论文将LLM视为一个通用工具，可以扮演不同的角色，例如预测器、编码器和对齐器，从而适应不同的图数据处理任务。通过这种方式，可以充分发挥LLM的文本处理能力，并将其扩展到图数据领域。

技术框架：本文将LLM在图上的应用分为三个主要类别，并针对每个类别讨论了相应的技术框架： 1. LLM作为预测器：直接利用LLM进行节点分类、链接预测等图任务。 2. LLM作为编码器：利用LLM对图结构或节点属性进行编码，生成高质量的图嵌入表示。 3. LLM作为对齐器：将图数据与文本数据对齐，建立图文之间的关联，从而实现跨模态的推理和预测。

关键创新：本文的创新之处在于对LLM在图上的应用进行了系统性的分类和总结，并提出了LLM作为预测器、编码器和对齐器的三种不同角色。这种分类方式有助于研究人员更好地理解LLM在图数据处理中的作用，并为未来的研究提供了指导。此外，本文还讨论了各种技术的优缺点，并指出了未来的研究方向。

关键设计：具体的技术细节因应用场景而异。例如，当LLM作为预测器时，可能需要设计特定的prompt来引导LLM进行预测；当LLM作为编码器时，需要考虑如何将图结构信息有效地融入到LLM的输入中；当LLM作为对齐器时，需要设计合适的损失函数来衡量图文之间的相似度。具体的参数设置、损失函数和网络结构需要根据具体的任务和数据集进行调整。

📊 实验亮点

该综述总结了现有方法在不同图任务上的应用，并讨论了各种方法的优缺点。论文还整理了相关的开源代码和基准数据集，为研究人员提供了便利。此外，论文还指出了未来研究方向，例如如何更好地利用LLM进行图推理，如何处理大规模图数据，以及如何将LLM与其他图神经网络相结合。

🎯 应用场景

该研究具有广泛的应用前景，包括但不限于：社交网络分析、知识图谱构建与推理、生物信息学（例如，蛋白质相互作用网络分析）、化学信息学（例如，分子性质预测）、推荐系统以及金融风险评估。通过结合LLM的强大能力和图数据的丰富结构信息，可以解决许多现实世界中的复杂问题。

📄 摘要（原文）

Large language models (LLMs), such as GPT4 and LLaMA, are creating significant advancements in natural language processing, due to their strong text encoding/decoding ability and newly found emergent capability (e.g., reasoning). While LLMs are mainly designed to process pure texts, there are many real-world scenarios where text data is associated with rich structure information in the form of graphs (e.g., academic networks, and e-commerce networks) or scenarios where graph data is paired with rich textual information (e.g., molecules with descriptions). Besides, although LLMs have shown their pure text-based reasoning ability, it is underexplored whether such ability can be generalized to graphs (i.e., graph-based reasoning). In this paper, we provide a systematic review of scenarios and techniques related to large language models on graphs. We first summarize potential scenarios of adopting LLMs on graphs into three categories, namely pure graphs, text-attributed graphs, and text-paired graphs. We then discuss detailed techniques for utilizing LLMs on graphs, including LLM as Predictor, LLM as Encoder, and LLM as Aligner, and compare the advantages and disadvantages of different schools of models. Furthermore, we discuss the real-world applications of such methods and summarize open-source codes and benchmark datasets. Finally, we conclude with potential future research directions in this fast-growing field. The related source can be found at https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs.