Latent Inter-User Difference Modeling for LLM Personalization

📄 arXiv: 2507.20849v2 📥 PDF

作者: Yilun Qiu, Tianhao Shi, Xiaoyan Zhao, Fengbin Zhu, Yang Zhang, Fuli Feng

分类: cs.CL

发布日期: 2025-07-28 (更新: 2025-09-20)

备注: 2025 EMNLP Main Conference (Oral)

🔗 代码/项目: GITHUB

💡 一句话要点

提出DEP框架，通过建模用户潜在差异实现LLM个性化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM个性化 用户差异建模 潜在空间 嵌入表示 稀疏自编码器

📋 核心要点

  1. 现有LLM个性化方法主要依赖用户自身历史，忽略了用户间的差异性，限制了个性化效果。
  2. DEP框架在潜在空间中建模用户间差异，通过对比用户嵌入构建软提示，突出相对行为信号。
  3. 实验表明，DEP在个性化评论生成任务上，显著优于现有基线方法，提升了模型性能。

📝 摘要（中文）

大型语言模型（LLM）日益融入用户日常生活，对个性化输出的需求不断增长。以往工作侧重于利用用户自身历史，忽略了用户间差异，而这对于有效的个性化至关重要。虽然最近的工作试图对这种差异进行建模，但对基于语言的提示的依赖往往阻碍了有意义的区别的有效提取。为了解决这些问题，我们提出了差异感知嵌入个性化（DEP）框架，该框架在潜在空间中对用户间差异进行建模，而不是依赖于语言提示。DEP通过将用户的嵌入与参与类似内容的同行的嵌入进行对比来构建软提示，从而突出相对行为信号。然后，稀疏自编码器过滤并压缩用户特定和差异感知嵌入，仅保留任务相关特征，然后将其注入到冻结的LLM中。在个性化评论生成方面的实验表明，DEP在多个指标上始终优于基线方法。我们的代码可在https://github.com/SnowCharmQ/DEP 获得。

🔬 方法详解

问题定义：现有LLM个性化方法主要依赖于用户自身的历史行为数据，而忽略了不同用户之间的差异性。这种差异性包含了用户的偏好、习惯等重要信息，对于提升个性化效果至关重要。现有尝试建模用户差异的方法，依赖于语言提示，难以有效提取有意义的差异信息，限制了模型的性能。

核心思路：DEP的核心思路是在潜在空间中建模用户间的差异。通过将目标用户的嵌入表示与其他用户的嵌入表示进行对比，突出显示目标用户与其他用户在行为上的相对差异信号。这种差异信号能够更好地反映用户的个性化偏好，从而提升LLM的个性化输出效果。

技术框架：DEP框架主要包含以下几个模块：1) 用户嵌入模块：将用户历史行为数据转换为用户嵌入表示。2) 差异感知嵌入模块：通过对比目标用户嵌入与相关用户嵌入，生成差异感知嵌入。3) 稀疏自编码器：过滤并压缩用户特定和差异感知嵌入，提取任务相关的特征。4) LLM注入模块：将提取的特征注入到冻结的LLM中，指导LLM生成个性化输出。

关键创新：DEP的关键创新在于提出了在潜在空间中建模用户差异的方法，避免了对语言提示的依赖。通过对比用户嵌入，能够更有效地提取用户间的差异信息，从而提升LLM的个性化效果。此外，使用稀疏自编码器进行特征提取，能够有效去除冗余信息，保留任务相关的特征。

关键设计：DEP的关键设计包括：1) 用户嵌入的生成方式，例如可以使用预训练模型或自定义模型。2) 差异感知嵌入的对比方式，例如可以使用余弦相似度或欧氏距离。3) 稀疏自编码器的网络结构和损失函数，例如可以使用L1正则化或KL散度。4) LLM注入的方式，例如可以使用Adapter或Prompt Tuning。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DEP在个性化评论生成任务上，显著优于现有基线方法。具体而言，DEP在多个评价指标上都取得了明显的提升，例如BLEU、ROUGE等。这表明DEP能够更有效地建模用户间的差异，从而提升LLM的个性化输出效果。代码已开源，方便研究人员复现和进一步研究。

🎯 应用场景

该研究成果可应用于各种需要个性化LLM输出的场景，例如个性化推荐、个性化对话系统、个性化内容生成等。通过建模用户间的差异，可以更好地理解用户的需求和偏好，从而提供更精准、更符合用户期望的服务。未来，该方法有望在教育、医疗、金融等领域发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) are increasingly integrated into users' daily lives, leading to a growing demand for personalized outputs. Previous work focuses on leveraging a user's own history, overlooking inter-user differences that are crucial for effective personalization. While recent work has attempted to model such differences, the reliance on language-based prompts often hampers the effective extraction of meaningful distinctions. To address these issues, we propose Difference-aware Embedding-based Personalization (DEP), a framework that models inter-user differences in the latent space instead of relying on language prompts. DEP constructs soft prompts by contrasting a user's embedding with those of peers who engaged with similar content, highlighting relative behavioral signals. A sparse autoencoder then filters and compresses both user-specific and difference-aware embeddings, preserving only task-relevant features before injecting them into a frozen LLM. Experiments on personalized review generation show that DEP consistently outperforms baseline methods across multiple metrics. Our code is available at https://github.com/SnowCharmQ/DEP.