PrefPalette: Personalized Preference Modeling with Latent Attributes
作者: Shuyue Stella Li, Melanie Sclar, Hunter Lang, Ansong Ni, Jacqueline He, Puxin Xu, Andrew Cohen, Chan Young Park, Yulia Tsvetkov, Asli Celikyilmaz
分类: cs.AI
发布日期: 2025-07-17
备注: 17 pages, 6 tables, 5 figures
💡 一句话要点
PrefPalette：利用潜在属性进行个性化偏好建模，提升社交社区偏好预测。
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 个性化偏好建模 多属性决策 反事实属性合成 注意力机制 社交社区 可解释性 推荐系统
📋 核心要点
- 现有偏好模型将人类判断视为黑盒，忽略了偏好背后的原因，限制了个性化AI系统的发展。
- PrefPalette通过反事实属性合成和基于注意力的偏好建模，将偏好分解为属性维度，并学习不同社区对这些属性的权重。
- 实验表明，PrefPalette在Reddit的45个社交社区上，预测准确率显著优于GPT-4o，并揭示了不同社区的偏好特征。
📝 摘要（中文）
为了使AI系统更具个性化，需要理解用户偏好的深层原因，而不仅仅是表面的选择。本文提出了PrefPalette框架，该框架将偏好分解为多个属性维度，并根据不同社交社区的价值观定制偏好预测，从而实现人机可解释性。PrefPalette通过两种方式实现多属性决策：(1) 可扩展的反事实属性合成，生成合成训练数据以隔离各个属性的影响（例如，正式性、幽默感、文化价值观）；(2) 基于注意力的偏好建模，学习不同社交社区如何动态地权衡这些属性。该方法超越了聚合偏好建模，捕捉驱动人类判断的多样化评估框架。在Reddit的45个社交社区上的评估表明，PrefPalette的平均预测准确率优于GPT-4o 46.6%。此外，PrefPalette还揭示了直观的、社区特定的偏好：学术社区重视冗长和刺激，冲突导向的社区重视讽刺和直率，支持型社区强调同理心。通过对人类判断的属性介导结构进行建模，PrefPalette提供了卓越的偏好建模和透明、可解释的见解，是朝着更值得信赖、具有价值意识的个性化应用迈出的第一步。
🔬 方法详解
问题定义：论文旨在解决现有偏好模型无法解释用户偏好背后的原因，导致个性化AI系统缺乏透明度和可信度的问题。现有方法通常将用户判断视为黑盒，忽略了不同属性对偏好的影响，以及不同社交社区价值观的差异。
核心思路：论文的核心思路是将偏好分解为多个可解释的属性维度，并学习不同社交社区对这些属性的权重。通过反事实属性合成，生成针对每个属性的合成数据，从而隔离各个属性的影响。然后，利用基于注意力的模型，学习不同社区如何动态地权衡这些属性，从而实现个性化的偏好预测。
技术框架：PrefPalette框架包含两个主要阶段：(1) 反事实属性合成阶段：利用生成模型生成针对每个属性的合成数据，例如，通过修改文本的正式程度、幽默感或文化价值观，生成不同的变体。(2) 基于注意力的偏好建模阶段：使用注意力机制学习不同社交社区对各个属性的权重。模型输入包括用户交互数据和合成的属性数据，输出是预测的用户偏好。
关键创新：论文的关键创新在于：(1) 提出了反事实属性合成方法，用于生成针对每个属性的合成数据，从而隔离各个属性的影响。(2) 利用基于注意力的模型，学习不同社交社区对属性的动态权重，从而实现个性化的偏好预测。与现有方法相比，PrefPalette能够提供更透明、可解释的偏好建模结果。
关键设计：在反事实属性合成阶段，论文使用了预训练的语言模型（例如，GPT-2）作为生成器，并设计了特定的prompt来控制生成文本的属性。在基于注意力的偏好建模阶段，论文使用了Transformer架构，并引入了社区嵌入向量来表示不同社交社区的价值观。损失函数包括预测损失和正则化损失，用于优化模型参数。
🖼️ 关键图片
📊 实验亮点
PrefPalette在Reddit的45个社交社区上进行了评估，结果表明，PrefPalette的平均预测准确率优于GPT-4o 46.6%。此外，PrefPalette还揭示了不同社区的偏好特征，例如，学术社区重视冗长和刺激，冲突导向的社区重视讽刺和直率，支持型社区强调同理心。这些结果表明，PrefPalette能够有效地捕捉人类判断的属性介导结构。
🎯 应用场景
PrefPalette可应用于各种个性化推荐系统、内容生成和用户画像等领域。例如，可以根据用户的社交社区和偏好属性，推荐更符合其价值观的内容；也可以用于生成具有特定属性（例如，正式、幽默）的文本，以满足不同用户的需求。该研究有助于构建更值得信赖、具有价值意识的个性化AI应用。
📄 摘要（原文）
Personalizing AI systems requires understanding not just what users prefer, but the reasons that underlie those preferences - yet current preference models typically treat human judgment as a black box. We introduce PrefPalette, a framework that decomposes preferences into attribute dimensions and tailors its preference prediction to distinct social community values in a human-interpretable manner. PrefPalette operationalizes a cognitive science principle known as multi-attribute decision making in two ways: (1) a scalable counterfactual attribute synthesis step that involves generating synthetic training data to isolate for individual attribute effects (e.g., formality, humor, cultural values), and (2) attention-based preference modeling that learns how different social communities dynamically weight these attributes. This approach moves beyond aggregate preference modeling to capture the diverse evaluation frameworks that drive human judgment. When evaluated on 45 social communities from the online platform Reddit, PrefPalette outperforms GPT-4o by 46.6% in average prediction accuracy. Beyond raw predictive improvements, PrefPalette also shed light on intuitive, community-specific profiles: scholarly communities prioritize verbosity and stimulation, conflict-oriented communities value sarcasm and directness, and support-based communities emphasize empathy. By modeling the attribute-mediated structure of human judgment, PrefPalette delivers both superior preference modeling and transparent, interpretable insights, and serves as a first step toward more trustworthy, value-aware personalized applications.