Investigating Instruction Tuning Large Language Models on Graphs
作者: Kerui Zhu, Bo-Wei Huang, Bowen Jin, Yizhu Jiao, Ming Zhong, Kevin Chang, Shou-De Lin, Jiawei Han
分类: cs.CL, cs.AI
发布日期: 2024-08-10
备注: COLM 2024
💡 一句话要点
研究指令调优的大语言模型在图数据上的应用能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图神经网络 大语言模型 指令调优 图表示学习 知识图谱
📋 核心要点
- 现有方法难以让LLM有效理解和处理复杂的图结构数据，限制了LLM在图相关任务中的应用。
- 构建指令调优数据集，探索不同图表示方法对LLM性能的影响，并分析影响LLM泛化能力的关键因素。
- 实验表明，JSON格式的图表示优于自然语言和代码格式，并分析了领域内和领域外任务的泛化性能。
📝 摘要（中文）
本文研究了指令跟随的大语言模型（LLMs）在处理真实世界图数据方面的能力，旨在提供关于LLMs如何有效与图交互并在图任务中泛化的经验性见解。首先，构建了一个用于指令调优的数据集，该数据集包含来自学术和电子商务领域的79个不同的图相关任务，包括44,240个训练实例和18,960个测试样本。利用此基准，初步研究集中于识别最佳的图表示形式，作为LLMs理解复杂图结构的桥梁。研究结果表明，在各种LLMs和图类型中，JSON格式的图表示始终优于自然语言和代码格式。此外，通过评估指令调优的LLMs在领域内和领域外图任务中的性能，研究了影响其泛化能力的关键因素。
🔬 方法详解
问题定义：现有的大语言模型在自然语言处理任务中表现出色，但直接应用于图数据时面临挑战。如何有效地将图结构信息传递给LLM，并使其能够理解和执行图相关的任务是一个关键问题。现有方法可能采用自然语言描述或代码表示图结构，但这些方法可能不够高效或难以被LLM充分理解。
核心思路：本文的核心思路是通过指令调优（Instruction Tuning）的方式，使LLM能够更好地理解和处理图数据。通过构建一个包含大量图相关任务和对应指令的数据集，对LLM进行微调，使其学会如何根据指令操作图数据并完成特定任务。同时，探索不同的图表示方法，找到最适合LLM理解的表示方式。
技术框架：整体框架包括以下几个主要阶段：1) 构建图指令数据集：收集并整理来自学术界和工业界的图相关任务，并为每个任务设计相应的指令和答案。2) 图表示方法选择：探索不同的图表示方法，包括自然语言、代码和JSON等，并评估它们对LLM性能的影响。3) 指令调优：使用构建的数据集对LLM进行微调，使其能够根据指令操作图数据。4) 性能评估：在领域内和领域外的图任务上评估微调后的LLM的性能，分析其泛化能力。
关键创新：本文的关键创新在于：1) 系统性地研究了指令调优在图数据上的应用，填补了LLM在图领域应用的空白。2) 提出了一个包含大量多样化图任务的指令数据集，为后续研究提供了基准。3) 发现JSON格式的图表示更适合LLM理解，为图数据的表示方法提供了新的思路。
关键设计：在图表示方面，尝试了自然语言描述（例如，节点和边的文本描述）、代码表示（例如，使用Python字典表示图结构）和JSON格式。在指令调优过程中，使用了标准的指令调优流程，包括指令、输入和输出三部分。损失函数采用交叉熵损失函数，优化器采用AdamW。具体参数设置（如学习率、batch size等）未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用JSON格式表示图数据时，LLM在多个图任务上取得了最佳性能，显著优于使用自然语言和代码表示的方法。此外，通过在领域内和领域外任务上的评估，分析了影响LLM泛化能力的关键因素，为进一步提升LLM在图领域的应用能力提供了指导。
🎯 应用场景
该研究成果可应用于多种图相关的实际场景，例如：推荐系统（基于用户-商品图进行推荐）、知识图谱问答（基于知识图谱回答用户提问）、社交网络分析（分析用户关系和社区结构）以及电子商务领域的图数据分析。通过指令调优，LLM能够更好地理解和利用图数据，从而提升这些应用的性能和效果，并为未来的图智能研究提供新的方向。
📄 摘要（原文）
Inspired by the recent advancements of Large Language Models (LLMs) in NLP tasks, there's growing interest in applying LLMs to graph-related tasks. This study delves into the capabilities of instruction-following LLMs for engaging with real-world graphs, aiming to offer empirical insights into how LLMs can effectively interact with graphs and generalize across graph tasks. We begin by constructing a dataset designed for instruction tuning, which comprises a diverse collection of 79 graph-related tasks from academic and e-commerce domains, featuring 44,240 training instances and 18,960 test samples. Utilizing this benchmark, our initial investigation focuses on identifying the optimal graph representation that serves as a conduit for LLMs to understand complex graph structures. Our findings indicate that JSON format for graph representation consistently outperforms natural language and code formats across various LLMs and graph types. Furthermore, we examine the key factors that influence the generalization abilities of instruction-tuned LLMs by evaluating their performance on both in-domain and out-of-domain graph tasks.