Panoramic Interests: Stylistic-Content Aware Personalized Headline Generation
作者: Junhong Lian, Xiang Ao, Xinyu Liu, Yang Liu, Qing He
分类: cs.CL, cs.AI
发布日期: 2025-01-21 (更新: 2025-01-28)
备注: Accepted to The ACM Web Conference 2025 (WWW'25, short paper)
期刊: In Companion Proceedings of the ACM Web Conference 2025 (WWW Companion '25), April 28-May 2, 2025, Sydney, NSW, Australia
💡 一句话要点
提出SCAPE框架，解决个性化新闻标题生成中用户风格偏好被忽略的问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化新闻标题生成 风格偏好 内容偏好 大型语言模型 对比学习 用户兴趣建模 分层融合网络
📋 核心要点
- 现有个性化新闻标题生成方法忽略了用户在风格上的偏好，导致生成的标题个性化程度不足。
- SCAPE框架利用大型语言模型提取标题的内容和风格特征，并通过对比学习融合用户的长期和短期兴趣。
- 在PENS数据集上的实验表明，SCAPE框架在个性化新闻标题生成任务上优于现有基线方法。
📝 摘要（中文）
个性化新闻标题生成旨在为用户提供量身定制、引人注目的标题。现有方法主要关注用户的内容偏好，但大多忽略了多样化的风格偏好是用户全面兴趣不可或缺的一部分，导致个性化效果不佳。鉴于此，我们提出了一种新颖的风格-内容感知个性化标题生成（SCAPE）框架。SCAPE借助大型语言模型（LLM）协作，从标题中提取内容和风格特征。它进一步通过基于对比学习的分层融合网络自适应地整合用户的长期和短期兴趣。通过将全面兴趣融入标题生成器，SCAPE在生成过程中反映用户的风格-内容偏好。在真实世界数据集PENS上的大量实验表明，SCAPE优于基线方法。
🔬 方法详解
问题定义：现有个性化新闻标题生成方法主要关注用户的内容偏好，而忽略了用户在风格上的偏好。用户对新闻标题的风格（例如，正式、幽默、煽情等）也存在个性化需求，忽略这些风格偏好会导致生成的标题无法充分满足用户的兴趣，个性化效果不佳。
核心思路：SCAPE框架的核心思路是同时考虑用户的内容偏好和风格偏好，从而生成更符合用户个性化需求的标题。该框架利用大型语言模型提取标题的内容和风格特征，并通过对比学习融合用户的长期和短期兴趣，从而全面捕捉用户的兴趣。
技术框架：SCAPE框架主要包含以下几个模块：1) 特征提取模块：利用大型语言模型从新闻标题中提取内容特征和风格特征。2) 兴趣融合模块：通过基于对比学习的分层融合网络，自适应地整合用户的长期兴趣和短期兴趣。3) 标题生成模块：将提取的内容特征、风格特征和融合后的用户兴趣向量输入到标题生成器中，生成个性化的新闻标题。
关键创新：SCAPE框架的关键创新在于：1) 同时考虑用户的内容偏好和风格偏好，从而更全面地捕捉用户的兴趣。2) 利用大型语言模型提取标题的风格特征，从而能够更准确地捕捉标题的风格信息。3) 采用基于对比学习的分层融合网络，能够更有效地融合用户的长期兴趣和短期兴趣。
关键设计：在特征提取模块中，论文使用了预训练的大型语言模型（具体模型未知）来提取标题的内容和风格特征。在兴趣融合模块中，论文设计了一个基于对比学习的分层融合网络，该网络包含一个长期兴趣编码器和一个短期兴趣编码器，以及一个对比学习损失函数，用于优化长期兴趣和短期兴趣的融合效果。标题生成模块的具体网络结构未知。
🖼️ 关键图片
📊 实验亮点
SCAPE框架在PENS数据集上进行了实验，实验结果表明，SCAPE框架在个性化新闻标题生成任务上优于现有的基线方法。具体的性能提升数据未知，但摘要中明确指出SCAPE优于基线方法，证明了其有效性。
🎯 应用场景
该研究成果可应用于个性化新闻推荐、个性化内容生成等领域。通过生成更符合用户个性化需求的标题，可以提高用户的新闻阅读体验，增强用户对新闻平台的粘性。此外，该方法还可以应用于其他文本生成任务，例如个性化广告语生成、个性化邮件标题生成等，具有广泛的应用前景。
📄 摘要（原文）
Personalized news headline generation aims to provide users with attention-grabbing headlines that are tailored to their preferences. Prevailing methods focus on user-oriented content preferences, but most of them overlook the fact that diverse stylistic preferences are integral to users' panoramic interests, leading to suboptimal personalization. In view of this, we propose a novel Stylistic-Content Aware Personalized Headline Generation (SCAPE) framework. SCAPE extracts both content and stylistic features from headlines with the aid of large language model (LLM) collaboration. It further adaptively integrates users' long- and short-term interests through a contrastive learning-based hierarchical fusion network. By incorporating the panoramic interests into the headline generator, SCAPE reflects users' stylistic-content preferences during the generation process. Extensive experiments on the real-world dataset PENS demonstrate the superiority of SCAPE over baselines.