Time Matters: Enhancing Pre-trained News Recommendation Models with Robust User Dwell Time Injection
作者: Hao Jiang, Chuanzhen Li, Mingxiao An
分类: cs.IR, cs.AI
发布日期: 2024-05-21
备注: 10 pages,5 figures
💡 一句话要点
提出DweW和DweA两种策略，增强预训练新闻推荐模型对用户停留时间的鲁棒性，提升推荐质量。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 新闻推荐 用户建模 停留时间 预训练模型 Transformer 个性化推荐 鲁棒性
📋 核心要点
- 现有新闻推荐模型难以准确建模用户偏好，尤其是在点击行为不确定和缺乏显式反馈信号的情况下。
- 提出DweW和DweA两种停留时间注入策略，分别通过优化用户点击和增强模型感知能力来提升用户建模。
- 在MSN真实数据集上的实验表明，该方法显著提升了推荐性能，且对停留时间缺失具有鲁棒性。
📝 摘要（中文）
大型语言模型（LLMs）彻底改变了文本理解，推动了利用LLMs进行深度新闻理解的先进新闻推荐模型的发展。尽管如此，由于点击行为的内在不确定性，准确建模用户偏好仍然具有挑战性。Transformer中的多头注意力等技术试图通过捕获点击之间的交互来缓解这个问题，但它们在整合显式反馈信号方面有所欠缺。用户停留时间作为一个强大的指标出现，提供了增强来自点击的微弱信号的潜力。然而，其在现实世界中的适用性值得怀疑，尤其是在停留时间数据收集存在延迟的情况下。为了弥合这一差距，本文提出了两种新颖且鲁棒的停留时间注入策略，即停留时间权重（DweW）和停留时间感知（DweA）。DweW侧重于通过详细分析停留时间来优化有效用户点击，并与初始行为输入集成，以构建更鲁棒的用户偏好。DweA使模型能够感知停留时间信息，从而促进用户建模中注意力值的自主调整。这种增强提高了模型准确识别用户偏好的能力。在使用来自MSN网站的真实新闻数据集的实验中，我们验证了我们的两种策略显着提高了推荐性能，有利于高质量的新闻。至关重要的是，我们的方法对用户停留时间信息表现出鲁棒性，即使在停留时间数据完全缺失的极端情况下，也能保持推荐高质量内容的能力。
🔬 方法详解
问题定义：现有新闻推荐模型，特别是基于大型语言模型的模型，在利用用户点击行为建模用户偏好时面临挑战。点击行为本身具有不确定性，且Transformer等模型虽能捕捉点击间的交互，但缺乏对显式反馈信号（如用户停留时间）的有效利用。此外，实际应用中停留时间数据可能存在延迟或缺失，影响模型的性能。
核心思路：论文的核心思路是通过两种策略将用户停留时间信息有效地融入到新闻推荐模型中，从而增强模型对用户偏好的理解和建模能力。这两种策略分别是Dwell time Weight (DweW)和Dwell time Aware (DweA)。DweW侧重于根据停留时间调整用户点击的权重，而DweA则让模型能够感知停留时间信息，并自主调整注意力值。
技术框架：整体框架基于预训练的Transformer模型，并在此基础上引入了DweW和DweA模块。DweW模块首先分析用户在新闻上的停留时间，然后根据停留时间的长短，对用户的点击行为进行加权，从而突出用户真正感兴趣的新闻。DweA模块则将停留时间信息作为模型的输入，让模型能够感知到用户在不同新闻上的停留时间，并根据停留时间的长短，自主调整注意力值，从而更好地捕捉用户对不同新闻的偏好。
关键创新：论文的关键创新在于提出了两种鲁棒的停留时间注入策略，DweW和DweA。与以往方法不同，这两种策略不仅能够有效地利用用户停留时间信息，而且对停留时间数据的缺失具有鲁棒性。即使在停留时间数据完全缺失的情况下，模型仍然能够保持较好的推荐性能。
关键设计：DweW的关键设计在于如何根据停留时间对用户点击进行加权。论文采用了一种基于sigmoid函数的加权方法，将停留时间映射到0到1之间的权重值。DweA的关键设计在于如何将停留时间信息融入到Transformer模型中。论文采用了一种将停留时间信息作为额外输入特征的方法，将停留时间信息与新闻的文本特征一起输入到Transformer模型中。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DweW和DweA两种策略均能显著提升新闻推荐性能。在MSN真实数据集上，相比于基线模型，DweW和DweA在各项指标上均有提升，尤其是在对高质量新闻的推荐方面。更重要的是，即使在完全缺失停留时间数据的情况下，该方法仍然能够保持较好的推荐性能，展现出良好的鲁棒性。
🎯 应用场景
该研究成果可应用于各种新闻推荐系统，尤其是在需要利用用户行为数据进行个性化推荐的场景下。通过更准确地理解用户偏好，可以提升用户体验，增加用户粘性，并提高新闻平台的商业价值。该方法对停留时间数据缺失的鲁棒性使其在实际应用中更具优势。
📄 摘要（原文）
Large Language Models (LLMs) have revolutionized text comprehension, leading to State-of-the-Art (SOTA) news recommendation models that utilize LLMs for in-depth news understanding. Despite this, accurately modeling user preferences remains challenging due to the inherent uncertainty of click behaviors. Techniques like multi-head attention in Transformers seek to alleviate this by capturing interactions among clicks, yet they fall short in integrating explicit feedback signals. User Dwell Time emerges as a powerful indicator, offering the potential to enhance the weak signals emanating from clicks. Nonetheless, its real-world applicability is questionable, especially when dwell time data collection is subject to delays. To bridge this gap, this paper proposes two novel and robust dwell time injection strategies, namely Dwell time Weight (DweW) and Dwell time Aware (DweA). Dwe} concentrates on refining Effective User Clicks through detailed analysis of dwell time, integrating with initial behavioral inputs to construct a more robust user preference. DweA empowers the model with awareness of dwell time information, thereby facilitating autonomous adjustment of attention values in user modeling. This enhancement sharpens the model's ability to accurately identify user preferences. In our experiment using the real-world news dataset from MSN website, we validated that our two strategies significantly improve recommendation performance, favoring high-quality news. Crucially, our approaches exhibit robustness to user dwell time information, maintaining their ability to recommend high-quality content even in extreme cases where dwell time data is entirely missing.