SPECTRA: Revealing the Full Spectrum of User Preferences via Distributional LLM Inference

📄 arXiv: 2509.24189v3 📥 PDF

作者: Luyang Zhang, Jialu Wang, Shichao Zhu, Beibei Li, Zhongcun Wang, Guangmou Pan, Yang Song

分类: cs.CL

发布日期: 2025-09-29 (更新: 2026-01-10)

💡 一句话要点

SPECTRA：通过分布式的LLM推理揭示用户偏好的全谱，解决推荐系统中的长尾偏好问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 用户偏好建模 长尾推荐 分布推理 个性化排序

📋 核心要点

  1. 现有基于LLM的推荐系统过度强调头部偏好，忽略长尾偏好，导致个性化推荐效果不佳。
  2. SPECTRA将LLM视为隐式概率模型，通过推断偏好聚类上的概率分布，显式地建模用户偏好。
  3. 实验表明，SPECTRA在分布对齐、长尾曝光和个性化排序方面均优于现有方法，NDCG提升高达40%。

📝 摘要（中文）

大型语言模型（LLM）越来越多地被用于理解用户偏好，通常通过直接生成排序的项目列表。然而，这种端到端的生成范式继承了自回归解码的偏差和不透明性，过度强调频繁（头部）偏好，而模糊了长尾偏好，从而使个性化偏向于头部偏好。为了解决这个问题，我们提出了SPECTRA（语义偏好提取和聚类跟踪），它通过探测LLM来推断可解释的偏好聚类上的概率分布，从而将LLM视为隐式概率模型。通过这样做，SPECTRA将用户建模从具有解码启发式的序列生成重新定义为分布推理，从而产生显式的、聚类级别的用户偏好表示。我们在MovieLens、Yelp和一个大型短视频平台上评估了SPECTRA，证明了在三个维度上的显著收益：SPECTRA实现了（i）分布对齐，相对于强大的基线，将Jensen-Shannon散度降低到经验分布的25%；（ii）长尾曝光，减少了解码引起的头部集中，并将全局曝光熵提高了30%；（iii）下游应用，如个性化排序，将这些收益转化为公共数据集上40%的NDCG提升，以及在对行业领先的基于Transformer的生产基线进行长尾偏好排序时，提高了7倍。

🔬 方法详解

问题定义：论文旨在解决现有基于LLM的推荐系统在用户偏好建模中存在的偏差问题，特别是对长尾偏好的捕捉不足。现有方法通常采用直接生成排序列表的方式，这种方式受到自回归解码的限制，容易过度强调头部偏好，而忽略长尾偏好，导致推荐结果的同质化和用户体验的下降。

核心思路：SPECTRA的核心思路是将LLM视为一个隐式的概率模型，通过探测LLM来推断用户在不同偏好聚类上的概率分布。这种方法将用户建模从序列生成问题转化为分布推理问题，从而能够更全面地捕捉用户的偏好，特别是长尾偏好。通过显式地建模聚类级别的用户偏好，SPECTRA能够更好地平衡头部偏好和长尾偏好，从而提高推荐系统的个性化程度和多样性。

技术框架：SPECTRA的整体框架包括以下几个主要步骤：1) 语义偏好提取：利用LLM提取用户历史行为中蕴含的语义偏好信息。2) 偏好聚类：将提取的偏好信息聚类成若干个具有代表性的偏好簇。3) 分布推理：通过探测LLM，推断用户在不同偏好簇上的概率分布。4) 个性化排序：利用推断出的用户偏好分布，对候选项目进行排序，生成个性化的推荐列表。

关键创新：SPECTRA最重要的技术创新点在于将LLM视为隐式概率模型，并通过分布推理的方式来建模用户偏好。与传统的序列生成方法相比，SPECTRA能够更全面地捕捉用户的偏好，特别是长尾偏好。此外，SPECTRA通过显式地建模聚类级别的用户偏好，使得推荐结果更具可解释性，并能够更好地平衡头部偏好和长尾偏好。

关键设计：SPECTRA的关键设计包括：1) 偏好簇的定义：如何选择合适的偏好簇数量和聚类算法，以保证偏好簇的代表性和区分度。2) LLM的探测方式：如何设计合适的prompt，以有效地探测LLM并推断用户在不同偏好簇上的概率分布。3) 损失函数的设计：如何设计损失函数，以鼓励模型更好地拟合用户的真实偏好分布，并提高长尾偏好的曝光度。论文中具体的技术细节（如参数设置、损失函数、网络结构等）未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPECTRA在MovieLens、Yelp和一个大型短视频平台上进行了评估，实验结果表明，SPECTRA在三个维度上均优于现有方法：(1) 分布对齐：相对于强大的基线，将Jensen-Shannon散度降低了25%；(2) 长尾曝光：减少了解码引起的头部集中，并将全局曝光熵提高了30%；(3) 个性化排序：在公共数据集上实现了40%的NDCG提升，在对行业领先的基于Transformer的生产基线进行长尾偏好排序时，提高了7倍。

🎯 应用场景

SPECTRA具有广泛的应用前景，可应用于电商、视频、音乐、新闻等各种推荐场景。通过更全面地理解用户偏好，特别是长尾偏好，SPECTRA能够提高推荐系统的个性化程度和多样性，从而提升用户体验和平台价值。此外，SPECTRA还可以用于用户画像、行为分析等领域，为企业提供更深入的用户洞察。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used to understand user preferences, typically via the direct generation of ranked item lists. However, this end-to-end generative paradigm inherits the bias and opacity of autoregressive decoding, over-emphasizing frequent (head) preferences and obscure long-tail ones, thereby biasing personalization toward head preferences. To address this, we propose SPECTRA (Semantic Preference Extraction and Clustered TRAcking), which treats the LLM as an implicit probabilistic model by probing it to infer a probability distribution over interpretable preference clusters. In doing so, SPECTRA reframes user modeling from sequence generation with decoding heuristics to distributional inference, yielding explicit, cluster-level user preference representations. We evaluate SPECTRA on MovieLens, Yelp, and a large-scale short-video platform, demonstrating significant gains across three dimensions: SPECTRA achieves (i) distributional alignment, reducing Jensen-Shannon divergence to empirical distributions by 25% against strong baselines; (ii) long-tail exposure, reducing decoding-induced head concentration and increasing global exposure entropy by 30%; and (iii) downstream applications such as personalized ranking, translating these gains into a 40% NDCG boost on public datasets and a 7x improvement on ranking long-tail preferences against an industry-leading Transformer-based production baseline.