BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
作者: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No
分类: cs.AI, cs.CL
发布日期: 2026-03-17
💡 一句话要点
BenchPreS：评估持久内存LLM在上下文感知下的个性化偏好选择性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 个性化偏好 上下文感知 持久内存 基准测试
📋 核心要点
- 现有LLM在持久内存中存储用户偏好以实现个性化，但缺乏对通信上下文的敏感性，可能导致不恰当的应用。
- BenchPreS基准测试旨在评估LLM在不同通信上下文中，是否能恰当应用或抑制用户偏好，实现上下文感知的偏好选择性。
- 实验表明，即使是先进的LLM也难以做到上下文敏感的偏好应用，偏好坚持性强的模型过度应用率更高。
📝 摘要（中文）
大型语言模型（LLM）越来越多地将用户偏好存储在持久内存中，以支持跨交互的个性化。然而，在受社会和制度规范约束的第三方通信环境中，某些用户偏好可能不适合应用。我们提出了BenchPreS，它评估了基于内存的用户偏好是否在不同的通信上下文中被恰当地应用或抑制。通过使用两个互补的指标，误用率（MR）和适当应用率（AAR），我们发现即使是最先进的LLM也难以进行上下文敏感的偏好应用。偏好坚持性较强的模型表现出更高的过度应用率，并且推理能力和基于提示的防御都不能完全解决这个问题。这些结果表明，当前的LLM将个性化偏好视为全局强制执行的规则，而不是作为上下文相关的规范信号。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在持久内存中存储用户偏好时，无法根据通信上下文恰当选择性地应用这些偏好的问题。现有方法将个性化偏好视为全局规则，忽略了社会规范和制度约束，导致在某些情境下不应应用的偏好被错误应用。这种过度应用或误用用户偏好会带来负面影响，例如违反社会准则或产生不适宜的输出。
核心思路：论文的核心思路是构建一个基准测试（BenchPreS），用于评估LLM在不同通信上下文中应用或抑制用户偏好的能力。通过定义不同的上下文场景，并要求LLM在这些场景下生成回复，从而判断LLM是否能够根据上下文正确地应用或抑制用户偏好。这种方法旨在揭示LLM在上下文感知偏好选择方面的不足。
技术框架：BenchPreS基准测试主要包含以下几个关键组成部分：1) 用户偏好库：包含各种类型的用户偏好，例如写作风格、主题偏好等。2) 上下文场景库：定义了不同的通信场景，例如正式场合、非正式场合、涉及敏感话题的场合等。3) LLM接口：允许研究人员使用不同的LLM进行测试。4) 评估指标：包括误用率（MR）和适当应用率（AAR），用于量化LLM在上下文感知偏好选择方面的性能。整个流程是，给定用户偏好和上下文场景，LLM生成回复，然后根据预定义的规则判断回复是否恰当应用了用户偏好，最后计算MR和AAR。
关键创新：该论文的关键创新在于提出了BenchPreS基准测试，这是一个专门用于评估LLM在上下文感知偏好选择方面能力的基准。与以往的研究不同，BenchPreS关注的是LLM如何根据上下文来选择性地应用用户偏好，而不是简单地评估LLM的个性化能力。此外，BenchPreS还提出了两个新的评估指标，MR和AAR，用于量化LLM的上下文感知偏好选择性能。
关键设计：BenchPreS的关键设计包括：1) 多样化的用户偏好库，涵盖了不同类型的偏好，以确保基准测试的全面性。2) 精心设计的上下文场景库，模拟了真实的通信环境，以确保基准测试的实用性。3) 清晰明确的评估规则，用于判断LLM是否恰当应用了用户偏好，以确保评估结果的客观性。4) 使用误用率（MR）和适当应用率（AAR）作为评估指标，MR定义为不应该应用偏好但实际应用的比例，AAR定义为应该应用偏好且实际应用的比例。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使是先进的LLM也难以在上下文感知的情况下恰当应用用户偏好。具体来说，偏好坚持性较强的模型表现出更高的过度应用率，并且推理能力和基于提示的防御都不能完全解决这个问题。这表明当前的LLM在处理个性化偏好时，缺乏对上下文的深入理解。
🎯 应用场景
该研究成果可应用于提升LLM在各种实际场景中的用户体验，例如智能客服、社交机器人和个性化推荐系统。通过提高LLM对上下文的感知能力，可以避免在不适当的场合应用用户偏好，从而提高用户满意度和信任度。未来的研究可以探索更复杂的上下文场景和更细粒度的偏好控制方法。
📄 摘要（原文）
Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.