Are Large Language Models In-Context Graph Learners?

📄 arXiv: 2502.13562v1 📥 PDF

作者: Jintang Li, Ruofan Wu, Yuchang Zhu, Huizhe Zhang, Liang Chen, Zibin Zheng

分类: cs.LG, cs.AI

发布日期: 2025-02-19

备注: Preprint, under review

💡 一句话要点

提出基于RAG的框架，提升大语言模型在图学习任务中的上下文学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图学习 大型语言模型 上下文学习 检索增强生成 知识图谱

📋 核心要点

  1. 现有LLM在处理图结构数据时，由于缺乏对非欧几里德结构的理解，性能远低于图神经网络。
  2. 论文将图学习视为检索增强生成（RAG）过程，利用图作为上下文来增强LLM的上下文学习能力。
  3. 实验结果表明，提出的RAG框架显著提升了LLM在图任务上的性能，尤其是在预训练LLM无法微调的场景下。

📝 摘要（中文）

大型语言模型（LLM）在各种任务中展现了卓越的上下文推理能力，尤其是在处理语言或图像等非结构化输入时。然而，由于缺乏对非欧几里德结构的理解，LLM在处理图等结构化数据时表现不佳。因此，在没有额外微调的情况下，LLM在图学习任务中的性能明显落后于图神经网络（GNN）。本文表明，图数据的学习可以被概念化为一种检索增强生成（RAG）过程，其中特定的实例（例如，节点或边）充当查询，而图本身充当检索到的上下文。基于这一洞察，我们提出了一系列RAG框架，以增强LLM在图学习任务中的上下文学习能力。全面的评估表明，我们提出的RAG框架显著提高了LLM在基于图的任务中的性能，尤其是在必须使用预训练的LLM而无需修改或通过API访问的情况下。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在图学习任务中表现不佳的问题。现有方法，即直接使用LLM处理图数据，由于LLM缺乏对图结构的固有理解，导致性能显著低于专门设计的图神经网络（GNN）。现有方法的痛点在于无法有效利用图的结构信息进行推理和预测。

核心思路：论文的核心思路是将图学习任务转化为一个检索增强生成（RAG）问题。具体来说，将图中的节点或边视为查询，而整个图结构则作为检索到的上下文。通过这种方式，LLM可以利用检索到的图信息来增强其上下文学习能力，从而更好地完成图学习任务。这种设计的关键在于将结构化的图数据转化为LLM更易于处理的文本形式。

技术框架：整体框架包含以下几个主要步骤：1. 查询构建：根据具体的图学习任务，构建相应的查询，例如，预测节点标签时，可以将节点特征作为查询。2. 图检索：利用查询在图中检索相关的上下文信息，例如，节点的邻居节点及其特征。3. 上下文增强：将检索到的上下文信息与原始查询进行融合，形成增强的输入。4. 生成：将增强的输入输入到LLM中，生成相应的预测结果。

关键创新：最重要的技术创新点在于将图学习任务重新定义为RAG问题。这种方法允许LLM利用其强大的语言建模能力来处理图数据，而无需进行额外的微调。与传统的GNN方法相比，该方法具有更强的通用性和灵活性。

关键设计：论文中RAG框架的关键设计包括：1. 邻居选择策略：如何选择节点的邻居节点作为上下文信息，例如，可以选择一阶邻居、二阶邻居或更远距离的邻居。2. 上下文编码方式：如何将检索到的上下文信息编码成LLM可以理解的文本形式，例如，可以使用自然语言描述节点的特征和关系。3. 提示工程：设计合适的提示语，引导LLM进行推理和预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了提出的RAG框架的有效性。实验结果表明，在多个图学习任务上，该框架显著提升了LLM的性能。例如，在节点分类任务中，使用RAG框架的LLM性能提升了10%以上，甚至在某些情况下可以与专门设计的GNN相媲美。此外，该框架在零样本学习场景下也表现出良好的性能。

🎯 应用场景

该研究成果可应用于多种图相关的任务，例如社交网络分析、知识图谱推理、生物信息学等。通过利用预训练LLM的强大能力，可以降低图学习任务的开发成本，并提高模型的泛化能力。未来，该方法有望在更多领域得到应用，例如推荐系统、金融风控等。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable in-context reasoning capabilities across a wide range of tasks, particularly with unstructured inputs such as language or images. However, LLMs struggle to handle structured data, such as graphs, due to their lack of understanding of non-Euclidean structures. As a result, without additional fine-tuning, their performance significantly lags behind that of graph neural networks (GNNs) in graph learning tasks. In this paper, we show that learning on graph data can be conceptualized as a retrieval-augmented generation (RAG) process, where specific instances (e.g., nodes or edges) act as queries, and the graph itself serves as the retrieved context. Building on this insight, we propose a series of RAG frameworks to enhance the in-context learning capabilities of LLMs for graph learning tasks. Comprehensive evaluations demonstrate that our proposed RAG frameworks significantly improve LLM performance on graph-based tasks, particularly in scenarios where a pretrained LLM must be used without modification or accessed via an API.