Mamba for Scalable and Efficient Personalized Recommendations

📄 arXiv: 2409.17165v1 📥 PDF

作者: Andrew Starnes, Clayton Webster

分类: cs.IR, cs.LG

发布日期: 2024-09-11

备注: 8 pages, 6 figures, 2 tables

💡 一句话要点

提出FT-Mamba以解决个性化推荐系统的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 个性化推荐 Mamba模型 Transformer替代 计算效率 状态空间模型

📋 核心要点

  1. 现有的推荐系统多依赖于Transformer架构，存在计算复杂度高和扩展性差的问题。
  2. FT-Mamba通过引入Mamba层替代Transformer层，显著降低了计算复杂度，并提升了处理表格数据的能力。
  3. 实验结果显示，FT-Mamba在多个推荐任务中均优于传统模型，尤其在计算效率和推荐性能上表现突出。

📝 摘要（中文）

在本研究中，我们提出使用Mamba处理个性化推荐系统中的表格数据。我们介绍了FT-Mamba（特征标记器+Mamba），这是一种新颖的混合模型，它在FT-Transformer架构中用Mamba层替代了Transformer层，以处理个性化推荐系统中的表格数据。Mamba模型提供了一种高效的替代方案，将计算复杂度从二次降低到线性，增强了状态空间模型（SSMs）的能力。FT-Mamba旨在提高推荐系统的可扩展性和效率，同时保持性能。我们在Spotify音乐推荐、H&M时尚推荐和疫苗信息推荐等三个数据集上评估FT-Mamba，并与传统的基于Transformer的模型进行比较。每个模型在160,000个用户行为对上进行训练，使用精确度（P）、召回率（R）、平均倒数排名（MRR）和命中率（HR）等指标进行性能评估。结果表明，FT-Mamba在计算效率方面优于基于Transformer的模型，同时在关键推荐指标上保持或超过性能。

🔬 方法详解

问题定义：本论文旨在解决个性化推荐系统中基于Transformer的模型在处理表格数据时的高计算复杂度和扩展性不足的问题。现有方法在大规模数据集上往往面临性能瓶颈。

核心思路：FT-Mamba模型通过将Mamba层集成到FT-Transformer架构中，替代传统的Transformer层，从而实现计算复杂度的显著降低，并提升了对表格数据的处理能力。

技术框架：FT-Mamba的整体架构包括特征标记器和Mamba层，特征标记器负责将输入数据转换为适合模型处理的格式，而Mamba层则负责高效地处理这些特征。模型通过两塔架构进行训练和评估。

关键创新：FT-Mamba的主要创新在于将Mamba层引入到推荐系统中，显著降低了计算复杂度，从二次复杂度降低到线性复杂度，这是与现有Transformer模型的本质区别。

关键设计：模型在训练时使用了160,000个用户行为对，采用了精确度、召回率、平均倒数排名和命中率等多种性能指标进行评估，确保了模型在实际应用中的有效性。具体的参数设置和损失函数设计在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FT-Mamba在计算效率上显著优于传统的Transformer模型，尤其在处理大规模数据时，计算复杂度从二次降低到线性。同时，FT-Mamba在精确度、召回率等关键指标上保持或超过了基线模型的性能，展示了其在个性化推荐中的有效性。

🎯 应用场景

FT-Mamba模型在个性化推荐系统中具有广泛的应用潜力，尤其适用于大规模用户数据的处理。其高效的计算能力和良好的扩展性使其能够在音乐、时尚和健康等多个领域提供个性化推荐，未来可能推动推荐系统的进一步发展。

📄 摘要（原文）

In this effort, we propose using the Mamba for handling tabular data in personalized recommendation systems. We present the \textit{FT-Mamba} (Feature Tokenizer\,$+$\,Mamba), a novel hybrid model that replaces Transformer layers with Mamba layers within the FT-Transformer architecture, for handling tabular data in personalized recommendation systems. The \textit{Mamba model} offers an efficient alternative to Transformers, reducing computational complexity from quadratic to linear by enhancing the capabilities of State Space Models (SSMs). FT-Mamba is designed to improve the scalability and efficiency of recommendation systems while maintaining performance. We evaluate FT-Mamba in comparison to a traditional Transformer-based model within a Two-Tower architecture on three datasets: Spotify music recommendation, H\&M fashion recommendation, and vaccine messaging recommendation. Each model is trained on 160,000 user-action pairs, and performance is measured using precision (P), recall (R), Mean Reciprocal Rank (MRR), and Hit Ratio (HR) at several truncation values. Our results demonstrate that FT-Mamba outperforms the Transformer-based model in terms of computational efficiency while maintaining or exceeding performance across key recommendation metrics. By leveraging Mamba layers, FT-Mamba provides a scalable and effective solution for large-scale personalized recommendation systems, showcasing the potential of the Mamba architecture to enhance both efficiency and accuracy.