DynLLM: When Large Language Models Meet Dynamic Graph Recommendation

📄 arXiv: 2405.07580v1 📥 PDF

作者: Ziwei Zhao, Fake Lin, Xi Zhu, Zhi Zheng, Tong Xu, Shitian Shen, Xueying Li, Zikai Yin, Enhong Chen

分类: cs.IR, cs.AI

发布日期: 2024-05-13

备注: 11 pages, 5 figures

💡 一句话要点

DynLLM：利用大语言模型解决动态图推荐中的数据稀疏和时序演化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态图推荐 大语言模型 用户画像 注意力机制 时序图嵌入 数据稀疏性 电子商务

📋 核心要点

  1. 现有图推荐方法难以处理动态图推荐任务，该任务涉及结构和时间上的图动态，处理时序演化数据具有内在复杂性。
  2. DynLLM利用LLM生成多方面的用户画像，并结合提炼的注意力机制，将这些画像信息与时序图嵌入融合，增强推荐效果。
  3. 在真实电商数据集上的实验表明，DynLLM显著优于一系列最先进的基线方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为DynLLM的新框架，旨在利用大语言模型（LLM）解决动态图推荐任务。该框架利用LLM基于历史购买记录的丰富文本特征生成多方面的用户画像，包括人群细分、个人兴趣、偏好类别和喜爱品牌，从而补充和丰富用户与物品之间的潜在关系。同时，DynLLM利用LLM导出相应的画像嵌入，并采用一种提炼的注意力机制来优化LLM生成的画像嵌入，以减轻噪声信号，并评估和调整每个提炼的方面嵌入的相关性，以便与来自连续时间动态图（CTDG）的时序图嵌入无缝集成。在两个真实电子商务数据集上的大量实验验证了DynLLM相对于各种最先进的基线方法的优越改进。

🔬 方法详解

问题定义：动态图推荐任务面临数据稀疏性和时序演化的双重挑战。传统图推荐方法难以有效捕捉用户和物品之间随时间变化的关系，并且在数据稀疏的情况下表现不佳。现有方法无法充分利用用户历史行为中的丰富信息，导致推荐效果受限。

核心思路：DynLLM的核心思路是利用大语言模型（LLM）理解用户历史行为的文本信息，生成多方面的用户画像，从而缓解数据稀疏性问题，并增强对用户兴趣的理解。通过将这些画像信息与动态图嵌入相结合，可以更好地捕捉用户和物品之间随时间演化的关系。

技术框架：DynLLM框架包含以下主要模块：1) LLM用户画像生成：利用LLM分析用户历史购买记录的文本特征，生成多方面的用户画像，包括人群细分、个人兴趣、偏好类别和喜爱品牌。2) LLM画像嵌入：使用LLM将生成的用户画像转换为相应的嵌入向量。3) 提炼的注意力机制：通过注意力机制，对LLM生成的画像嵌入进行提炼，降低噪声信号的影响，并评估每个方面嵌入的相关性。4) 时序图嵌入融合：将提炼后的画像嵌入与来自连续时间动态图（CTDG）的时序图嵌入进行融合，从而得到最终的用户和物品表示。

关键创新：DynLLM的关键创新在于利用LLM生成多方面的用户画像，并将其与动态图嵌入相结合。这种方法充分利用了LLM的文本理解能力，缓解了数据稀疏性问题，并增强了对用户兴趣的理解。此外，提炼的注意力机制可以有效地降低噪声信号的影响，提高画像嵌入的质量。

关键设计：DynLLM的关键设计包括：1) 使用特定prompt工程来指导LLM生成高质量的用户画像。2) 设计提炼的注意力机制，用于评估和调整每个方面嵌入的相关性。3) 选择合适的连续时间动态图（CTDG）嵌入方法，以便与画像嵌入进行有效融合。具体的损失函数和网络结构细节未在摘要中明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个真实电商数据集上的实验结果表明，DynLLM显著优于一系列最先进的基线方法。具体的性能提升数据未在摘要中明确说明，属于未知信息。实验结果验证了DynLLM在动态图推荐任务中的有效性。

🎯 应用场景

DynLLM可应用于各种电子商务推荐场景，尤其是在用户行为数据稀疏且用户兴趣随时间变化的场景下。该方法可以提升推荐系统的准确性和个性化程度，从而提高用户满意度和平台收益。未来，可以将DynLLM扩展到其他类型的推荐系统，例如社交媒体推荐和新闻推荐。

📄 摘要（原文）

Last year has witnessed the considerable interest of Large Language Models (LLMs) for their potential applications in recommender systems, which may mitigate the persistent issue of data sparsity. Though large efforts have been made for user-item graph augmentation with better graph-based recommendation performance, they may fail to deal with the dynamic graph recommendation task, which involves both structural and temporal graph dynamics with inherent complexity in processing time-evolving data. To bridge this gap, in this paper, we propose a novel framework, called DynLLM, to deal with the dynamic graph recommendation task with LLMs. Specifically, DynLLM harnesses the power of LLMs to generate multi-faceted user profiles based on the rich textual features of historical purchase records, including crowd segments, personal interests, preferred categories, and favored brands, which in turn supplement and enrich the underlying relationships between users and items. Along this line, to fuse the multi-faceted profiles with temporal graph embedding, we engage LLMs to derive corresponding profile embeddings, and further employ a distilled attention mechanism to refine the LLM-generated profile embeddings for alleviating noisy signals, while also assessing and adjusting the relevance of each distilled facet embedding for seamless integration with temporal graph embedding from continuous time dynamic graphs (CTDGs). Extensive experiments on two real e-commerce datasets have validated the superior improvements of DynLLM over a wide range of state-of-the-art baseline methods.