LATTE: Forecasting Peer Anchored Preference Trajectories for Personalized LLM Generation

📄 arXiv: 2605.26612v1 📥 PDF

作者: Jinze Li, Xiaoyan Yang, Shuo Yang, Jinfeng Xu, Yue Shen, Jian Wang, Jinjie Gu, Edith Cheuk-Han Ngai

分类: cs.CL

发布日期: 2026-05-26

备注: Under review

💡 一句话要点

LATTE：预测对等锚定的偏好轨迹，实现个性化LLM生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化生成 大型语言模型 偏好预测 轨迹建模 对等锚定

📋 核心要点

  1. 现有个性化方法将用户历史视为聚合配置文件，混合了稳定身份、近期漂移和项目内容，缺乏对用户偏好动态变化的建模。
  2. LATTE通过预测对等锚定的相对偏好状态来表示个性化，捕捉用户在特定项目上下文中相对于同行的偏好差异，并预测未来的偏好状态。
  3. 实验结果表明，LATTE在个性化生成任务中显著优于现有方法，尤其是在ROUGE-L指标上取得了显著提升，证明了预测用户特定轨迹信息的有效性。

📝 摘要（中文）

本文提出了一种名为LAtent Trajectory Tracking and Extrapolation (LATTE) 的框架，用于实现冻结的大型语言模型的个性化生成。LATTE将个性化表示为预测对等锚定的相对偏好状态。对于每个历史会话，LATTE减去一个由对同一项目做出反应的可比用户形成的时间掩码基线，从而产生一个状态，该状态衡量目标用户在共享项目上下文中与同行的差异。然后，一个轻量级的序列预测器预测此轨迹中的下一个状态，并通过单个锚定软令牌将预测注入到冻结的指令调整LLM中。实验表明，LATTE在Amazon Reviews 2023和MemoryCD数据集上始终优于检索、摘要记忆、静态潜在配置文件、差异感知潜在配置文件和软提示压缩基线。在Amazon Reviews 2023上，LATTE将平均ROUGE-L从静态潜在配置文件的0.219和最强的添加潜在压缩基线的0.245提高到0.259。

🔬 方法详解

问题定义：现有的大型语言模型个性化生成方法，如检索、摘要或静态潜在表示，无法有效区分用户的长期偏好、短期兴趣漂移以及当前交互的项目内容。这些方法将用户历史视为一个静态的聚合，忽略了用户偏好随时间变化的动态特性，导致生成的文本个性化程度不足。

核心思路：LATTE的核心思想是将个性化建模为一个偏好轨迹的预测问题。它通过跟踪用户相对于同行的偏好变化，并预测未来的偏好状态，从而捕捉用户偏好的动态特性。这种方法能够区分用户的长期偏好和短期兴趣，并根据用户的最新行为调整生成的内容。

技术框架：LATTE框架包含以下几个主要模块：1) 对等锚定：对于每个历史会话，计算目标用户与对同一项目做出反应的可比用户之间的偏好差异，形成一个相对偏好状态。2) 轨迹预测：使用一个轻量级的序列预测器，例如LSTM或Transformer，预测相对偏好状态的未来轨迹。3) 状态到令牌桥接：将预测的偏好状态通过一个软提示（soft prompt）注入到冻结的指令调整LLM中，引导LLM生成个性化的文本。

关键创新：LATTE的关键创新在于使用对等锚定来消除共享项目的影响，从而更好地捕捉用户特定的偏好变化。此外，通过预测偏好轨迹，LATTE能够捕捉用户偏好的动态特性，并根据用户的最新行为调整生成的内容。与现有方法相比，LATTE能够更准确地捕捉用户的个性化信息，并生成更符合用户偏好的文本。

关键设计：LATTE的关键设计包括：1) 时间掩码基线：使用时间掩码来防止信息泄露，确保基线只包含过去的信息。2) 轻量级序列预测器：使用轻量级的序列预测器来减少计算成本，并提高模型的泛化能力。3) 锚定软令牌：使用单个锚定软令牌来控制注入到LLM中的个性化信息量，避免过度拟合。

🖼️ 关键图片

fig_0

📊 实验亮点

LATTE在Amazon Reviews 2023数据集上取得了显著的性能提升，将平均ROUGE-L从静态潜在配置文件的0.219和最强的添加潜在压缩基线的0.245提高到0.259。实验结果表明，LATTE优于各种基线方法，包括检索、摘要记忆、静态潜在配置文件、差异感知潜在配置文件和软提示压缩等。额外的成对比较和诊断分析表明，性能提升主要归功于预测用户特定的轨迹信息，而不仅仅是添加一个软提示接口。

🎯 应用场景

LATTE框架可应用于各种需要个性化内容生成的场景，例如个性化推荐、对话系统、内容创作等。通过捕捉用户偏好的动态变化，LATTE可以生成更符合用户需求的个性化内容，提高用户满意度和参与度。例如，在电商推荐中，LATTE可以根据用户的历史购买记录和浏览行为，预测用户未来的购买偏好，并推荐更符合用户需求的商品。

📄 摘要（原文）

Personalized generation with frozen large language models requires a conditioning signal that is both compact and current. Existing personalization methods typically retrieve or summarize user histories in text, or compress them into static latent profiles and soft prompts. These approaches are efficient, but they treat a user's past behavior as an aggregate profile and therefore mix stable identity, recent drift, and item content in the same representation. We propose LAtent Trajectory Tracking and Extrapolation (LATTE), a framework that represents personalization as forecasting a peer anchored relative preference state. For each historical session, LATTE subtracts a time masked baseline formed from comparable users who responded to the same item, producing a state that measures how the target user differs from peers under a shared item context. A lightweight sequence predictor then forecasts the next state in this trajectory, and a State to Token Bridge injects the forecast into a frozen instruction tuned LLM through a single anchored soft token. We provide a latent factor analysis showing when peer anchoring cancels shared item variation and why temporal forecasting trades off stale averages against noisy recent states. Experiments on Amazon Reviews 2023 and MemoryCD show that LATTE consistently outperforms retrieval, summary memory, static latent profiles, difference aware latent profiles, and soft prompt compression baselines. On Amazon Reviews 2023, LATTE improves average ROUGE-L from 0.219 for a static latent profile and 0.245 for the strongest added latent compression baseline to 0.259. Additional pairwise comparisons and diagnostic analyses suggest that the improvement is mainly due to forecasting user-specific trajectory information, rather than merely adding a soft prompt interface.