LLM4DyG: Can Large Language Models Solve Spatial-Temporal Problems on Dynamic Graphs?

📄 arXiv: 2310.17110v3 📥 PDF

作者: Zeyang Zhang, Xin Wang, Ziwei Zhang, Haoyang Li, Yijian Qin, Wenwu Zhu

分类: cs.LG

发布日期: 2023-10-26 (更新: 2024-07-08)

备注: Accepted by ACM KDD'24

💡 一句话要点

提出LLM4DyG以解决动态图上的时空问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 动态图 时空理解 基准测试 解耦思维 数据生成 任务设计

📋 核心要点

  1. 现有文献对大型语言模型在动态图上处理时空信息的能力评估尚未深入，缺乏系统性研究。
  2. 本文提出LLM4DyG基准，设计九个任务以评估LLMs在动态图上的时空理解能力，并引入DST2方法进行优化。
  3. 实验结果显示，LLMs在动态图上具备初步的时空理解能力，且DST2方法能显著提升其性能。

📝 摘要（中文）

在大型语言模型（LLMs）日益广泛应用的背景下，本文首次探讨了LLMs在动态图上处理时空信息的能力。动态图能够捕捉网络的时间演变模式，然而，现有文献对LLMs在此领域的能力评估尚未深入。为此，本文提出了LLM4DyG基准，包含九个专门设计的任务，以评估LLMs在时空维度的能力。通过广泛实验，分析了不同数据生成器、数据统计、提示技术和LLMs对模型性能的影响，并提出了“解耦时空思维”（DST2）方法，以增强LLMs在动态图上的时空理解能力。主要观察结果表明，LLMs在动态图上具备初步的时空理解能力，但随着图的规模和密度增加，任务难度加大，而DST2方法能有效提升LLMs的表现。

🔬 方法详解

问题定义：本文旨在评估大型语言模型在动态图上处理时空信息的能力，现有方法未能有效解决这一问题，导致LLMs在此领域的应用潜力未被充分挖掘。

核心思路：提出LLM4DyG基准，设计九个任务以从时空维度评估LLMs的能力，同时引入DST2方法以增强其时空理解能力。

技术框架：整体框架包括数据生成、任务设计、模型训练和性能评估四个主要阶段。数据生成阶段使用不同的生成器，任务设计阶段则考虑时空特征，模型训练阶段采用DST2提示方法，最后进行性能评估。

关键创新：最重要的创新在于首次系统性地评估LLMs在动态图上的时空理解能力，并提出DST2方法来提升这一能力，与现有方法相比，提供了更为细致的评估标准和优化策略。

关键设计：在任务设计中，考虑了图的规模、密度和时间跨度等因素；在模型训练中，DST2方法通过解耦时空思维来优化提示效果，提升了模型的理解能力。具体的损失函数和网络结构设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在动态图上具备初步的时空理解能力，随着图的规模和密度增加，任务难度显著提升。使用DST2方法后，LLMs在大多数任务上的表现得到了显著改善，具体提升幅度未详细披露。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、交通流量预测和金融网络监测等。通过提升LLMs在动态图上的时空理解能力，可以更好地处理复杂的网络数据，推动相关领域的智能化发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

In an era marked by the increasing adoption of Large Language Models (LLMs) for various tasks, there is a growing focus on exploring LLMs' capabilities in handling web data, particularly graph data. Dynamic graphs, which capture temporal network evolution patterns, are ubiquitous in real-world web data. Evaluating LLMs' competence in understanding spatial-temporal information on dynamic graphs is essential for their adoption in web applications, which remains unexplored in the literature. In this paper, we bridge the gap via proposing to evaluate LLMs' spatial-temporal understanding abilities on dynamic graphs, to the best of our knowledge, for the first time. Specifically, we propose the LLM4DyG benchmark, which includes nine specially designed tasks considering the capability evaluation of LLMs from both temporal and spatial dimensions. Then, we conduct extensive experiments to analyze the impacts of different data generators, data statistics, prompting techniques, and LLMs on the model performance. Finally, we propose Disentangled Spatial-Temporal Thoughts (DST2) for LLMs on dynamic graphs to enhance LLMs' spatial-temporal understanding abilities. Our main observations are: 1) LLMs have preliminary spatial-temporal understanding abilities on dynamic graphs, 2) Dynamic graph tasks show increasing difficulties for LLMs as the graph size and density increase, while not sensitive to the time span and data generation mechanism, 3) the proposed DST2 prompting method can help to improve LLMs' spatial-temporal understanding abilities on dynamic graphs for most tasks. The data and codes are publicly available at Github.