Cognitive-Inspired Hierarchical Attention Fusion With Visual and Textual for Cross-Domain Sequential Recommendation

📄 arXiv: 2504.15085v5 📥 PDF

作者: Wangyu Wu, Zhenhong Chen, Siqi Song, Xianglin Qiu, Xiaowei Huang, Fei Ma, Jimin Xiao

分类: cs.CV

发布日期: 2025-04-21 (更新: 2025-09-01)

备注: Accepted at CogSCI 2025. arXiv admin note: text overlap with arXiv:2502.15694

💡 一句话要点

提出HAF-VT模型，融合视觉和文本信息，解决跨域序列推荐中用户兴趣建模问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨域序列推荐 多模态融合 注意力机制 认知建模 CLIP模型

📋 核心要点

  1. 现有跨域序列推荐方法难以充分利用多模态信息，对用户跨域偏好的建模能力有限。
  2. HAF-VT模型通过融合视觉和文本信息，并采用分层注意力机制，提升了跨域用户兴趣的建模能力。
  3. 在电商数据集上的实验表明，HAF-VT模型在跨域序列推荐任务中优于现有方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种新颖的跨域序列推荐方法，名为视觉和文本表征的分层注意力融合（HAF-VT），旨在通过整合视觉和文本数据来增强认知建模。该方法受到人类认知过程的启发，利用预训练的CLIP模型生成图像和文本嵌入，从而丰富物品表征。HAF-VT采用分层注意力机制，联合学习单域和跨域偏好，模拟人类的信息整合过程。在四个电子商务数据集上的评估结果表明，HAF-VT在捕捉跨域用户兴趣方面优于现有方法，从而将认知原理与计算模型联系起来，并突出了多模态数据在序列决策中的作用。

🔬 方法详解

问题定义：跨域序列推荐旨在利用多个域的历史交互数据预测用户行为。现有方法通常侧重于建模域内和域间序列的项目关系，但忽略了多模态信息（如视觉和文本）的有效融合，导致用户跨域偏好建模不足。

核心思路：本文的核心思路是借鉴人类认知过程，通过融合视觉和文本信息来增强物品表征，并利用分层注意力机制学习单域和跨域偏好。这种方法旨在更全面地捕捉用户的跨域兴趣，从而提高推荐性能。

技术框架：HAF-VT模型主要包含以下几个模块：1) 多模态嵌入模块：使用预训练的CLIP模型提取物品的图像和文本嵌入，并将它们与原始物品ID嵌入相结合。2) 单域序列建模模块：利用Transformer网络对每个域内的用户行为序列进行建模，学习域内用户偏好。3) 跨域序列建模模块：采用分层注意力机制，首先学习域间项目关系，然后融合不同域的信息，捕捉跨域用户偏好。4) 预测模块：基于学习到的用户表征，预测用户在目标域的下一个交互物品。

关键创新：HAF-VT的关键创新在于：1) 引入多模态信息（视觉和文本）来丰富物品表征，从而更全面地描述物品特征。2) 采用分层注意力机制，分别学习单域和跨域偏好，从而更有效地捕捉用户的跨域兴趣。3) 将认知原理与计算模型相结合，模拟人类的信息整合过程，提升了模型的解释性和有效性。

关键设计：HAF-VT的关键设计包括：1) 使用预训练的CLIP模型提取图像和文本嵌入，避免了从头训练多模态模型的困难。2) 分层注意力机制包含两个层次：第一层学习域间项目关系，第二层融合不同域的信息。3) 损失函数包括推荐损失和辅助损失，用于优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个电子商务数据集上的实验结果表明，HAF-VT模型在跨域序列推荐任务中显著优于现有方法。例如，在某个数据集上，HAF-VT模型相比于最佳基线模型，在Recall@20指标上提升了5%以上，证明了其有效性。

🎯 应用场景

该研究成果可应用于电商、在线教育、新闻推荐等多个领域，通过跨域用户行为分析，提升推荐系统的个性化程度和用户体验。例如，在电商平台，可以根据用户在服装和家居用品领域的浏览记录，更准确地推荐用户可能感兴趣的商品。

📄 摘要（原文）

Cross-Domain Sequential Recommendation (CDSR) predicts user behavior by leveraging historical interactions across multiple domains, focusing on modeling cross-domain preferences through intra- and inter-sequence item relationships. Inspired by human cognitive processes, we propose Hierarchical Attention Fusion of Visual and Textual Representations (HAF-VT), a novel approach integrating visual and textual data to enhance cognitive modeling. Using the frozen CLIP model, we generate image and text embeddings, enriching item representations with multimodal data. A hierarchical attention mechanism jointly learns single-domain and cross-domain preferences, mimicking human information integration. Evaluated on four e-commerce datasets, HAF-VT outperforms existing methods in capturing cross-domain user interests, bridging cognitive principles with computational models and highlighting the role of multimodal data in sequential decision-making.