Integrating Summarization and Retrieval for Enhanced Personalization via Large Language Models
作者: Chris Richardson, Yao Zhang, Kellen Gillespie, Sudipta Kar, Arshdeep Singh, Zeynab Raeesy, Omar Zia Khan, Abhinav Sethy
分类: cs.CL, cs.AI, cs.IR
发布日期: 2023-10-30
备注: 4 pages, International Workshop on Personalized Generative AI (@CIKM 2023)
💡 一句话要点
提出摘要增强检索方法以提升个性化体验
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化推荐 大型语言模型 摘要生成 信息检索 自然语言处理
📋 核心要点
- 现有个性化方法在处理用户历史数据时面临输入长度限制和信息损失等挑战。
- 本文提出通过LLMs生成用户摘要，结合检索增强个性化，解决了传统方法的不足。
- 实验结果显示，使用75%更少的用户数据，本文方法在多个任务上表现优越，提升显著。
📝 摘要（中文）
个性化是自然语言处理系统用户体验的重要因素。随着大型语言模型（LLMs）的出现，如何利用这些模型更好地个性化用户体验成为关键问题。传统方法通过将用户历史数据纳入语言模型提示来实现个性化，但可能导致输入过长，增加延迟和成本。现有的检索方法通过选择性提取相关用户数据来构建提示，但存在信息损失、用户理解不足和冷启动等挑战。为克服这些限制，本文提出了一种新颖的摘要增强方法，通过LLMs生成任务感知的用户摘要，扩展了基于检索的个性化。实验表明，该方法在LaMP个性化基准上，使用75%更少的检索用户数据，性能与现有方法相当或更优。
🔬 方法详解
问题定义：本文旨在解决个性化过程中传统方法在输入长度和信息损失方面的痛点。现有的检索方法无法充分理解用户需求，且在冷启动情况下表现不佳。
核心思路：提出一种摘要增强的个性化方法，通过生成用户摘要来减少检索数据量，同时保持个性化效果。此设计使得系统能够在运行时高效利用LLMs的能力。
技术框架：整体架构包括两个主要模块：用户数据的摘要生成和基于摘要的检索。用户数据首先被处理生成摘要，然后在实际任务中使用这些摘要进行个性化检索。
关键创新：最重要的创新在于将用户摘要与检索结合，显著减少了所需的用户数据量，同时提升了个性化效果。这与传统方法的直接检索方式形成鲜明对比。
关键设计：在摘要生成过程中，采用了LLMs进行任务感知的摘要生成，确保生成的摘要能够有效捕捉用户的需求和偏好。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用75%更少的用户数据，本文提出的方法在LaMP个性化基准上与现有检索增强方法的性能相当或更优，展示了在实际约束下的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括智能语音助手、个性化推荐系统和客户服务聊天机器人等。通过提高个性化水平，能够显著提升用户体验，增加用户粘性，并为企业带来更高的客户满意度和忠诚度。未来，该方法可能在更多实际应用中得到推广，推动个性化技术的发展。
📄 摘要（原文）
Personalization, the ability to tailor a system to individual users, is an essential factor in user experience with natural language processing (NLP) systems. With the emergence of Large Language Models (LLMs), a key question is how to leverage these models to better personalize user experiences. To personalize a language model's output, a straightforward approach is to incorporate past user data into the language model prompt, but this approach can result in lengthy inputs exceeding limitations on input length and incurring latency and cost issues. Existing approaches tackle such challenges by selectively extracting relevant user data (i.e. selective retrieval) to construct a prompt for downstream tasks. However, retrieval-based methods are limited by potential information loss, lack of more profound user understanding, and cold-start challenges. To overcome these limitations, we propose a novel summary-augmented approach by extending retrieval-augmented personalization with task-aware user summaries generated by LLMs. The summaries can be generated and stored offline, enabling real-world systems with runtime constraints like voice assistants to leverage the power of LLMs. Experiments show our method with 75% less of retrieved user data is on-par or outperforms retrieval augmentation on most tasks in the LaMP personalization benchmark. We demonstrate that offline summarization via LLMs and runtime retrieval enables better performance for personalization on a range of tasks under practical constraints.