Enhancing News Recommendation with Hierarchical LLM Prompting

📄 arXiv: 2504.20452v1 📥 PDF

作者: Hai-Dang Kieu, Delvin Ce Zhang, Minh Duc Nguyen, Min Xu, Qiang Wu, Dung D. Le

分类: cs.IR, cs.AI

发布日期: 2025-04-29

💡 一句话要点

PNR-LLM：利用分层LLM提示增强新闻推荐，提升用户偏好捕捉能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新闻推荐 大型语言模型 用户偏好 语义增强 实体识别

📋 核心要点

  1. 现有新闻推荐系统依赖浅层信息，难以准确捕捉用户偏好，导致推荐质量受限。
  2. PNR-LLM利用LLM生成更深层次的语义信息和实体，丰富新闻表示，提升用户-新闻匹配精度。
  3. 实验表明，PNR-LLM在MIND数据集上超越现有方法，且数据增强模块具有模型无关性。

📝 摘要（中文）

个性化新闻推荐系统通常难以有效捕捉用户偏好的复杂性，因为它们严重依赖于文章标题和摘要等浅层表示。为了解决这个问题，我们提出了一种新颖的方法，即PNR-LLM，用于利用大型语言模型进行个性化新闻推荐。具体来说，PNR-LLM利用LLM的生成能力来丰富新闻标题和摘要，从而提高推荐质量。PNR-LLM包含一个新颖的模块，即通过LLM进行新闻丰富，该模块从文章中生成更深层次的语义信息和相关实体，将浅层内容转化为更丰富的表示。我们进一步提出了一种注意力机制来聚合丰富的语义和实体级别的数据，形成统一的用户和新闻嵌入，从而揭示更准确的用户-新闻匹配。在MIND数据集上的大量实验表明，PNR-LLM优于最先进的基线模型。此外，所提出的数据丰富模块是模型无关的，并且我们通过实验表明，将我们提出的模块应用于多个现有模型可以进一步提高它们的性能，验证了我们设计的优势。

🔬 方法详解

问题定义：现有个性化新闻推荐系统主要依赖新闻标题和摘要等浅层信息，难以充分理解新闻内容和用户偏好，导致推荐结果不够精准。痛点在于无法有效捕捉用户兴趣的细微差别和新闻文章的深层语义信息。

核心思路：利用大型语言模型（LLM）的强大生成能力，对新闻标题和摘要进行语义增强，提取更深层次的语义信息和相关实体。通过将浅层内容转化为更丰富的表示，从而更准确地匹配用户偏好和新闻内容。

技术框架：PNR-LLM主要包含新闻丰富模块和用户-新闻匹配模块。新闻丰富模块利用LLM生成新闻的深层语义信息和实体。用户-新闻匹配模块使用注意力机制聚合语义和实体级别的信息，形成统一的用户和新闻嵌入，用于预测用户对新闻的点击概率。

关键创新：核心创新在于利用LLM进行新闻内容增强，将浅层文本信息转化为包含深层语义和实体信息的丰富表示。与传统方法直接使用标题和摘要相比，PNR-LLM能够更全面地理解新闻内容，从而提升推荐的准确性。此外，该数据增强模块具有模型无关性，可以应用于多种现有的推荐模型。

关键设计：新闻丰富模块使用特定的prompt提示LLM生成新闻的语义信息和实体。注意力机制用于加权聚合语义和实体信息，形成最终的新闻和用户表示。损失函数采用标准的二元交叉熵损失，优化目标是最大化用户点击新闻的概率。具体的LLM选择和prompt设计对最终效果有一定影响，需要在实际应用中进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MIND数据集上的实验结果表明，PNR-LLM显著优于现有的state-of-the-art基线模型。更重要的是，该论文证明了其提出的数据增强模块具有模型无关性，可以有效提升多种现有推荐模型的性能。这表明PNR-LLM具有很强的泛化能力和实用价值。

🎯 应用场景

该研究成果可广泛应用于各类新闻推荐平台、信息流产品和内容聚合应用中，提升用户获取信息的效率和个性化体验。通过更精准地理解用户兴趣，可以提高用户粘性，减少信息过载，并促进优质内容的传播。未来，该方法还可扩展到其他类型的推荐系统，例如商品推荐、视频推荐等。

📄 摘要（原文）

Personalized news recommendation systems often struggle to effectively capture the complexity of user preferences, as they rely heavily on shallow representations, such as article titles and abstracts. To address this problem, we introduce a novel method, namely PNR-LLM, for Large Language Models for Personalized News Recommendation. Specifically, PNR-LLM harnesses the generation capabilities of LLMs to enrich news titles and abstracts, and consequently improves recommendation quality. PNR-LLM contains a novel module, News Enrichment via LLMs, which generates deeper semantic information and relevant entities from articles, transforming shallow contents into richer representations. We further propose an attention mechanism to aggregate enriched semantic- and entity-level data, forming unified user and news embeddings that reveal a more accurate user-news match. Extensive experiments on MIND datasets show that PNR-LLM outperforms state-of-the-art baselines. Moreover, the proposed data enrichment module is model-agnostic, and we empirically show that applying our proposed module to multiple existing models can further improve their performance, verifying the advantage of our design.