Towards Scalable Semantic Representation for Recommendation

📄 arXiv: 2410.09560v1 📥 PDF

作者: Taolin Zhang, Junwei Pan, Jinpeng Wang, Yaohua Zha, Tao Dai, Bin Chen, Ruisheng Luo, Xiaoxiang Deng, Yuan Wang, Ming Yue, Jie Jiang, Shu-Tao Xia

分类: cs.IR, cs.LG

发布日期: 2024-10-12

💡 一句话要点

提出Mixture-of-Codes方法，提升推荐系统中语义表征的可扩展性和性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 语义表示 大型语言模型 码本 维度鲁棒性

📋 核心要点

  1. 现有基于LLM的推荐系统语义ID方法，需压缩LLM嵌入维度以匹配ID嵌入，导致信息损失。
  2. 提出Mixture-of-Codes方法，通过构建多个独立码本，提升LLM表征的可区分性和维度鲁棒性。
  3. 实验表明，该方法在可区分性和维度鲁棒性方面表现优异，实现了推荐系统性能的提升。

📝 摘要（中文）

随着大型语言模型（LLMs）的最新进展，涌现出大量基于LLMs开发语义ID以增强推荐系统性能的研究。然而，这些嵌入的维度需要与推荐中ID嵌入的维度相匹配，后者通常远小于原始长度。这种维度压缩导致LLM嵌入在可区分性和维度鲁棒性方面不可避免地损失，这促使我们扩展语义表示。在本文中，我们提出了一种名为Mixture-of-Codes的方法，该方法首先在索引阶段为LLM表示构建多个独立的码本，然后在下游推荐阶段利用语义表示以及融合模块。广泛的分析和实验表明，我们的方法实现了卓越的可区分性和维度鲁棒性可扩展性，从而在推荐中实现了最佳的放大性能。

🔬 方法详解

问题定义：现有基于大型语言模型（LLM）的推荐系统，在利用LLM生成的语义ID时，需要将高维的LLM嵌入压缩到与推荐系统中ID嵌入相同的维度。这种降维操作不可避免地导致LLM表征的信息损失，降低了其可区分性和维度鲁棒性，从而限制了推荐系统的性能提升。现有方法的痛点在于无法在保持LLM语义信息的同时，有效地将其应用于推荐系统。

核心思路：论文的核心思路是通过构建多个独立的码本（codebooks）来对LLM表征进行编码，从而实现语义表示的扩展。每个码本独立地学习LLM表征的不同方面，多个码本的组合可以更全面地捕捉LLM的语义信息。这种方法避免了直接压缩LLM嵌入，从而保留了更多的信息，提升了可区分性和维度鲁棒性。通过后续的融合模块，将这些码本的信息有效地整合到推荐系统中。

技术框架：该方法主要包含两个阶段：索引阶段和推荐阶段。在索引阶段，首先利用LLM生成物品的语义表示。然后，为这些语义表示构建多个独立的码本。每个码本学习LLM表征的不同方面。在推荐阶段，利用学习到的码本对物品进行编码，得到语义表示。然后，将这些语义表示与融合模块结合，用于下游的推荐任务。融合模块负责将多个码本的信息整合起来，生成最终的推荐结果。

关键创新：该方法最重要的创新点在于提出了Mixture-of-Codes的概念，通过构建多个独立的码本来扩展LLM表征。与直接压缩LLM嵌入的方法相比，Mixture-of-Codes可以保留更多的语义信息，提升可区分性和维度鲁棒性。此外，该方法还设计了一个融合模块，用于有效地整合多个码本的信息，从而提升推荐系统的性能。

关键设计：关于码本的数量，论文可能进行了实验分析，以确定最佳的码本数量。融合模块的具体结构（例如，注意力机制、MLP等）以及训练方式（例如，端到端训练、多阶段训练等）是关键的设计细节。损失函数的设计也至关重要，可能包括对比损失、交叉熵损失等，以确保码本能够有效地学习LLM表征，并且融合模块能够有效地整合码本的信息。具体的网络结构和参数设置未知，需要查阅论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了Mixture-of-Codes方法的有效性。实验结果表明，该方法在可区分性和维度鲁棒性方面优于现有方法，并且在推荐任务中取得了显著的性能提升。具体的性能数据和提升幅度未知，需要查阅论文原文。

🎯 应用场景

该研究成果可应用于各种推荐系统，尤其是在需要利用大量文本信息进行推荐的场景中，例如新闻推荐、商品推荐、电影推荐等。通过提升语义表征的可扩展性和性能，可以更准确地理解用户的兴趣和物品的特征，从而提高推荐的准确性和用户满意度。未来，该方法可以进一步扩展到其他领域，例如自然语言处理、图像识别等。

📄 摘要（原文）

With recent advances in large language models (LLMs), there has been emerging numbers of research in developing Semantic IDs based on LLMs to enhance the performance of recommendation systems. However, the dimension of these embeddings needs to match that of the ID embedding in recommendation, which is usually much smaller than the original length. Such dimension compression results in inevitable losses in discriminability and dimension robustness of the LLM embeddings, which motivates us to scale up the semantic representation. In this paper, we propose Mixture-of-Codes, which first constructs multiple independent codebooks for LLM representation in the indexing stage, and then utilizes the Semantic Representation along with a fusion module for the downstream recommendation stage. Extensive analysis and experiments demonstrate that our method achieves superior discriminability and dimension robustness scalability, leading to the best scale-up performance in recommendations.