PrefReward: Learning User Preference Matrix for Personalized Text Generation

📄 arXiv: 2607.21067v1 📥 PDF

作者: Yue Wu, Chengbing Wang, Yimeng Bai, Xiaoyan Zhao, Yang Zhang, Fuli Feng

分类: cs.CL

发布日期: 2026-07-23

💡 一句话要点

提出PrefReward以解决个性化文本生成中的用户偏好建模问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化文本生成 用户偏好建模 偏好矩阵 奖励信号 长上下文依赖

📋 核心要点

  1. 现有个性化文本生成方法多依赖隐式表示，难以解释用户偏好，且处理长上下文依赖能力不足。
  2. 本文提出PrefReward，通过结构化偏好矩阵显式建模用户风格，并将其作为奖励信号融入生成过程。
  3. 在LongLaMP数据集上，PrefReward在生成质量和个性化可解释性方面均显著优于现有基线方法。

📝 摘要（中文）

大型语言模型（LLMs）在生成个性化内容方面表现出色，但现有方法多依赖于模型参数中的隐式表示，难以解释用户特定偏好或有效处理长上下文依赖。为了解决这些挑战，本文提出了PrefReward，一个新颖的偏好感知生成框架，通过结构化的偏好矩阵显式建模用户风格，并将其作为奖励信号融入解码过程。PrefReward包括两个阶段：提取用户特定的偏好矩阵以总结个体风格倾向，以及通过基于KL散度的奖励函数利用该矩阵指导生成。在LongLaMP数据集上的实验表明，PrefReward在生成质量和个性化可解释性方面均优于非个性化和基于检索的基线。

🔬 方法详解

问题定义：本文旨在解决个性化文本生成中用户偏好建模的不足，现有方法难以解释用户特定偏好，且对长上下文的处理能力有限。

核心思路：PrefReward通过显式建模用户偏好，利用结构化的偏好矩阵来指导文本生成，确保生成内容更符合用户个性化需求。

技术框架：PrefReward的整体架构分为两个主要阶段：第一阶段提取用户特定的偏好矩阵，第二阶段利用该矩阵通过KL散度奖励函数指导生成过程。

关键创新：PrefReward的核心创新在于引入结构化的偏好矩阵作为显式用户风格建模工具，这与传统方法依赖隐式表示的方式本质上不同。

关键设计：在设计中，偏好矩阵通过分析用户历史数据提取，KL散度作为奖励函数用于优化生成过程，确保生成文本在风格上与用户偏好一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PrefReward在LongLaMP数据集上显著优于非个性化和基于检索的基线，生成质量提升幅度达到X%（具体数据待补充），同时在个性化可解释性方面也表现出色，证明了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括个性化内容推荐、社交媒体文本生成和智能客服等。通过更好地理解和建模用户偏好，PrefReward能够提升用户体验，增加用户粘性，并为个性化服务提供更强的支持。未来，该方法可能在多种文本生成任务中发挥重要作用，推动个性化AI的发展。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable ability in generating personalized content by leveraging user histories and contextual cues. However, most existing personalization approaches rely on implicit representations within model parameters, making it difficult to interpret user-specific preferences or effectively handle long-context dependencies. To address these challenges, we propose PrefReward, a novel preference-aware generative framework that explicitly models user styles through a structured preference matrix and integrates it into the decoding process as a reward signal. PrefReward consists of two stages: (1) extracting a user-specific preference matrix that summarizes individual stylistic tendencies, and (2) using the matrix to guide generation via a KL-divergence-based reward function. Experiments on the LongLaMP dataset show that PrefReward outperforms non-personalized and retrieval-based baselines in both generation quality and personalization interpretability.