Fusion and Alignment Enhancement with Large Language Models for Tail-item Sequential Recommendation

📄 arXiv: 2604.03688 📥 PDF

作者: Zhifu Wei, Yizhou Dang, Guibing Guo, Chuang Zhao, Zhu Sun

分类: cs.IR, cs.AI

发布日期: 2026-04-07

💡 一句话要点

FAERec：融合对齐增强框架，利用LLM提升尾部物品序列推荐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列推荐 尾部物品 大型语言模型 信息融合 对比学习

📋 核心要点

  1. 现有序列推荐方法在处理尾部物品时，由于交互数据稀疏，难以准确捕获物品之间的转移模式。
  2. FAERec框架通过融合协同信号和LLM语义知识，并对齐ID和LLM嵌入空间，生成更优的物品表示。
  3. 实验结果表明，FAERec在多个数据集和序列推荐模型上均取得了显著的性能提升，验证了其有效性和泛化性。

📝 摘要（中文）

序列推荐(SR)旨在从用户的历史交互序列中学习用户偏好，并提供个性化建议。在实际场景中，大多数物品的交互稀疏，即尾部物品问题。这限制了模型准确捕获物品转移模式的能力。大型语言模型(LLM)通过捕获物品之间的语义关系，为解决此问题提供了一个有希望的方案。然而，以往利用LLM提取的嵌入来丰富尾部物品的方法仍然面临以下局限：1)难以有效地融合协同信号与语义知识，导致次优的物品嵌入质量；2)现有方法忽略了ID嵌入空间和LLM嵌入空间之间的结构不一致性，导致冲突信号，降低推荐准确性。本文提出了一个融合和对齐增强框架FAERec，通过生成连贯融合和结构一致的嵌入来改进物品表示。针对信息融合挑战，设计了一种自适应门控机制，动态融合ID嵌入和LLM嵌入。然后，提出了一种双层对齐方法来缓解结构不一致性。物品级对齐通过对比学习建立同一物品的ID嵌入和LLM嵌入之间的对应关系，而特征级对齐约束两个嵌入空间中对应维度之间的相关模式。此外，通过课程学习调度器调整两个对齐的权重，以避免复杂特征级目标的过早优化。在三个广泛使用的数据集上进行的大量实验表明了我们框架的有效性和泛化性。

🔬 方法详解

问题定义：论文旨在解决序列推荐中尾部物品的推荐问题。现有方法在处理尾部物品时，由于交互数据稀疏，难以学习到准确的物品表示，从而影响推荐性能。此外，直接使用LLM的嵌入进行增强时，协同信号与语义知识融合不充分，且ID嵌入空间和LLM嵌入空间存在结构不一致性，导致冲突信号，进一步降低推荐准确性。

核心思路：论文的核心思路是融合协同信号和LLM语义知识，并通过对齐ID嵌入空间和LLM嵌入空间来提升尾部物品的表示质量。通过自适应门控机制动态融合ID嵌入和LLM嵌入，利用对比学习进行物品级对齐，并约束特征级相关模式，从而生成连贯融合和结构一致的物品嵌入。

技术框架：FAERec框架主要包含三个模块：信息融合模块、物品级对齐模块和特征级对齐模块。信息融合模块使用自适应门控机制动态融合ID嵌入和LLM嵌入。物品级对齐模块通过对比学习建立同一物品的ID嵌入和LLM嵌入之间的对应关系。特征级对齐模块约束两个嵌入空间中对应维度之间的相关模式。此外，还使用课程学习调度器调整物品级对齐和特征级对齐的权重。

关键创新：论文的关键创新在于提出了双层对齐方法，即物品级对齐和特征级对齐，以缓解ID嵌入空间和LLM嵌入空间之间的结构不一致性。物品级对齐关注单个物品的整体表示，而特征级对齐关注两个嵌入空间中对应维度的相关模式。此外，使用课程学习调度器动态调整两个对齐的权重，避免复杂特征级目标的过早优化。

关键设计：自适应门控机制使用一个可学习的门控向量来控制ID嵌入和LLM嵌入的融合比例。对比学习损失函数使用InfoNCE损失。特征级对齐使用互相关矩阵来约束两个嵌入空间中对应维度的相关模式。课程学习调度器使用sigmoid函数来平滑地调整物品级对齐和特征级对齐的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FAERec在三个数据集上均取得了显著的性能提升。例如，在Amazon-Beauty数据集上，FAERec相对于表现最佳的基线模型，在Recall@20指标上提升了5.2%，在NDCG@20指标上提升了4.8%。此外，消融实验验证了自适应门控机制和双层对齐方法的有效性。

🎯 应用场景

该研究成果可应用于电商、视频、音乐等领域的个性化推荐系统，尤其是在长尾物品推荐方面具有重要价值。通过提升尾部物品的推荐准确性，可以提高用户满意度，增加平台收益，并促进更广泛的物品曝光，从而缓解马太效应，实现更公平的推荐。

📄 摘要（原文）

Sequential Recommendation (SR) learns user preferences from their historical interaction sequences and provides personalized suggestions. In real-world scenarios, most items exhibit sparse interactions, known as the tail-item problem. This issue limits the model's ability to accurately capture item transition patterns. To tackle this, large language models (LLMs) offer a promising solution by capturing semantic relationships between items. Despite previous efforts to leverage LLM-derived embeddings for enriching tail items, they still face the following limitations: 1) They struggle to effectively fuse collaborative signals with semantic knowledge, leading to suboptimal item embedding quality. 2) Existing methods overlook the structural inconsistency between the ID and LLM embedding spaces, causing conflicting signals that degrade recommendation accuracy. In this work, we propose a Fusion and Alignment Enhancement framework with LLMs for Tail-item Sequential Recommendation (FAERec), which improves item representations by generating coherently-fused and structurally consistent embeddings. For the information fusion challenge, we design an adaptive gating mechanism that dynamically fuses ID and LLM embeddings. Then, we propose a dual-level alignment approach to mitigate structural inconsistency. The item-level alignment establishes correspondences between ID and LLM embeddings of the same item through contrastive learning, while the feature-level alignment constrains the correlation patterns between corresponding dimensions across the two embedding spaces. Furthermore, the weights of the two alignments are adjusted by a curriculum learning scheduler to avoid premature optimization of the complex feature-level objective. Extensive experiments across three widely used datasets with multiple representative SR backbones demonstrate the effectiveness and generalizability of our framework.