Beyond Retrieval: Learning Compact User Representations for Scalable LLM Personalization

📄 arXiv: 2606.04547v1 📥 PDF

作者: Heng Cao, Fan Zhang, Jian Yao, Yujie Zheng, Changlin Zhao, Lu Hao, Yuxuan Wei, Wangze Ni, Huaiyu Fu, Yuqian Sun, Xuyan Mo

分类: cs.IR, cs.CL

发布日期: 2026-06-03

备注: 16 pages, 6 figures

💡 一句话要点

提出TAP-PER以解决大规模LLM个性化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化模型 用户表示 大规模语言模型 轻量级嵌入 推荐系统 时间信号 用户状态 参数效率

📋 核心要点

  1. 现有个性化方法对检索质量和提示设计敏感，且在用户数量增加时存储和维护成本高。
  2. TAP-PER通过可学习的用户状态前缀嵌入，消除了显式提示构建，提升个性化效率。
  3. 在六个LaMP任务上，TAP-PER在分类、评分和生成设置中均优于现有基线，且参数使用显著减少。

📝 摘要（中文）

个性化大型语言模型需要根据用户的个体需求调整模型行为，同时保持鲁棒性和高效的部署规模。现有方法通常在输入层面或参数层面进行个性化，前者对检索质量和提示设计敏感，后者则在用户数量增加时带来存储和维护成本。为了解决这些问题，本文提出了TAP-PER（Temporal Attentive Prefix for PERsonalization），该框架通过可学习的表示编码用户偏好，消除了显式提示构建，并用轻量级的用户状态前缀嵌入替代了重型的用户适配器。实验结果表明，TAP-PER在多个任务上均优于现有基线，且在用户参数使用上显著减少。

🔬 方法详解

问题定义：本文旨在解决大规模个性化语言模型在用户数量增加时的存储和维护成本问题。现有方法在输入层面和参数层面进行个性化，导致对检索质量敏感和高昂的存储成本。

核心思路：TAP-PER通过引入可学习的用户状态前缀嵌入，消除了对显式提示构建的需求，并用轻量级的表示替代了重型的用户适配器，从而实现高效的个性化。

技术框架：TAP-PER框架将用户建模分解为用户状态和查询条件组件，并结合时间信号以捕捉用户兴趣的演变。整体流程包括用户偏好的编码、状态前缀的生成以及与查询的结合。

关键创新：TAP-PER的主要创新在于其前缀基础的框架设计，能够在不依赖显式提示构建的情况下，实现高效的个性化，且在参数使用上显著低于现有方法。

关键设计：在设计中，TAP-PER使用了轻量级的用户状态前缀嵌入，且在1,000用户规模下，使用的每用户参数比OPPU少130倍，且总参数量约为PER-PCS的一半。实验中采用了多种损失函数和网络结构以优化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TAP-PER在六个LaMP任务上均优于现有的提示基础和模型基础基线，且在1,000用户规模下，每用户参数使用量减少了130倍，总参数量约为PER-PCS的一半，展示了其在个性化效率上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和用户交互界面等。通过高效的个性化方法，TAP-PER能够在大规模用户环境中提供更为精准的服务，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Personalizing large language models requires adapting model behavior to individual users while preserving robustness and deployment-scale efficiency. Existing approaches typically personalize LLMs either at the input level, by retrieving user histories or constructing profile prompts, or at the parameter level, by maintaining user-specific parameter-efficient modules. The former makes personalization sensitive to retrieval quality and prompt design, whereas the latter incurs storage and maintenance costs that grow with the user population. To address these limitations, we propose TAP-PER (Temporal Attentive Prefix for PERsonalization), a prefix-based framework that encodes user preferences as learnable representations, eliminating explicit prompt construction and replacing heavy per-user adapters with lightweight user-state prefix embeddings. Inspired by personalized recommendation systems, TAP-PER decomposes user modeling into user-state and query-conditioned components, and incorporates temporal signals to capture the evolving nature of user interests. Experiments on six LaMP tasks show that TAP-PER consistently outperforms prompt-based and model-based baselines across classification, rating, and generation settings. Moreover, TAP-PER uses 130x fewer per-user parameters than OPPU and roughly half the total parameter footprint of PER-PCS at the 1,000-user scale, demonstrating that scalable LLM personalization can be achieved without explicit prompt construction or heavy per-user adapters.