PMG : Personalized Multimodal Generation with Large Language Models

📄 arXiv: 2404.08677v1 📥 PDF

作者: Xiaoteng Shen, Rui Zhang, Xiaoyan Zhao, Jieming Zhu, Xi Xiao

分类: cs.IR, cs.AI, cs.CL

发布日期: 2024-04-07

💡 一句话要点

提出个性化多模态生成方法以解决推荐系统中的用户偏好问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化生成 多模态生成 用户偏好 大型语言模型 推荐系统 内容生成 自然语言处理

📋 核心要点

  1. 现有的多模态生成方法缺乏个性化，无法有效捕捉用户的具体偏好，限制了其在推荐系统中的应用。
  2. 本文提出的PMG方法通过将用户行为转化为自然语言，提取用户偏好，并结合显性关键词和隐性嵌入生成个性化内容。
  3. 实验结果显示，PMG在个性化生成上相比于无个性化的基线方法，LPIPS指标提升了8%，同时保持了生成内容的准确性。

📝 摘要（中文）

大型语言模型（LLMs）的出现革新了文本理解和生成的能力。尽管多模态生成受到广泛关注，但个性化生成的研究相对较少，尤其在推荐系统等应用中具有重要意义。本文提出了首个基于LLMs的个性化多模态生成方法（PMG），通过将用户行为转化为自然语言，提取用户偏好，并利用多模态生成器生成个性化内容。实验结果表明，PMG在个性化生成方面相比基线方法有显著提升，同时保持了生成的准确性。

🔬 方法详解

问题定义：本文旨在解决现有多模态生成方法在个性化方面的不足，特别是在推荐系统中，用户偏好的捕捉和表达不够准确，导致生成内容无法满足用户需求。

核心思路：PMG方法的核心在于将用户行为（如点击记录或与虚拟助手的对话）转化为自然语言，以便LLM理解并提取用户偏好描述。通过结合显性关键词和隐性嵌入，全面准确地捕捉用户偏好。

技术框架：PMG的整体架构包括三个主要模块：用户行为转化模块、偏好提取模块和内容生成模块。用户行为首先被转化为自然语言，然后提取出用户偏好，最后将这些偏好作为提示输入到生成器中，生成个性化内容。

关键创新：PMG的创新之处在于首次将用户行为转化为自然语言并结合显性关键词与隐性嵌入，以更全面地表示用户偏好。这一方法与传统的个性化生成方法相比，能够更好地捕捉用户的细微差别。

关键设计：在设计中，PMG优化了准确性和偏好得分的加权和，以确保生成内容在个性化和准确性之间取得良好平衡。具体的损失函数和网络结构设计在实验中经过调优，以达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PMG在个性化生成方面相比于无个性化的基线方法，LPIPS指标提升了8%。同时，PMG在保持生成内容准确性的前提下，显著改善了用户体验，展示了其在个性化生成领域的有效性。

🎯 应用场景

PMG方法在推荐系统、个性化内容生成和虚拟助手等领域具有广泛的应用潜力。通过更好地理解和满足用户偏好，PMG能够提升用户体验，增加用户粘性，并为商业应用带来更高的价值。未来，该方法还可以扩展到其他多模态任务中，进一步推动个性化生成技术的发展。

📄 摘要（原文）

The emergence of large language models (LLMs) has revolutionized the capabilities of text comprehension and generation. Multi-modal generation attracts great attention from both the industry and academia, but there is little work on personalized generation, which has important applications such as recommender systems. This paper proposes the first method for personalized multimodal generation using LLMs, showcases its applications and validates its performance via an extensive experimental study on two datasets. The proposed method, Personalized Multimodal Generation (PMG for short) first converts user behaviors (e.g., clicks in recommender systems or conversations with a virtual assistant) into natural language to facilitate LLM understanding and extract user preference descriptions. Such user preferences are then fed into a generator, such as a multimodal LLM or diffusion model, to produce personalized content. To capture user preferences comprehensively and accurately, we propose to let the LLM output a combination of explicit keywords and implicit embeddings to represent user preferences. Then the combination of keywords and embeddings are used as prompts to condition the generator. We optimize a weighted sum of the accuracy and preference scores so that the generated content has a good balance between them. Compared to a baseline method without personalization, PMG has a significant improvement on personalization for up to 8% in terms of LPIPS while retaining the accuracy of generation.