The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

📄 arXiv: 2510.09905v1 📥 PDF

作者: Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

分类: cs.AI, cs.CL

发布日期: 2025-10-10

备注: 12 pages 5 figures

💡 一句话要点

用户记忆影响LLM情感推理：个性化可能强化社会不平等

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感推理 大型语言模型 用户记忆 个性化AI 社会偏见

📋 核心要点

  1. 现有AI助手在融入长期用户记忆后，其情感推理能力可能受到用户画像的影响，例如对单亲母亲和富裕高管的压力解读可能不同。
  2. 该研究通过评估15个LLM在情感智能测试中的表现，揭示了用户记忆对模型情感推理的系统性影响，以及潜在的社会偏见。
  3. 实验结果表明，高性能LLM在理解优势群体的情感时更准确，且在情感理解和支持性建议方面存在显著的人口统计差异。

📝 摘要（中文）

本文研究了用户记忆如何影响大型语言模型（LLMs）的情感智能。研究发现，在相同的场景下，不同的用户画像会导致LLMs产生系统性差异的情感解读。通过对15个模型在经过人工验证的情感智能测试中进行评估，发现一些高性能LLMs对优势群体的用户画像的情感解读更为准确。此外，LLMs在情感理解和支持性建议任务中，对不同人口统计因素表现出显著差异。这些结果表明，个性化机制可能会将社会等级制度嵌入到模型的情感推理中。这项研究揭示了记忆增强型AI的一个关键挑战：旨在实现个性化的系统可能会无意中强化社会不平等。

🔬 方法详解

问题定义：论文旨在研究在大型语言模型（LLMs）中，用户记忆（user memory）如何影响模型的情感推理能力。现有方法缺乏对个性化AI系统中情感推理偏差的系统性评估，尤其是在考虑到不同用户画像的情况下。这种偏差可能导致AI系统对不同社会群体产生不公平或不准确的情感解读，从而强化社会不平等。

核心思路：论文的核心思路是通过构建包含不同用户画像的测试用例，并使用经过人工验证的情感智能测试来评估LLMs的情感推理能力。通过比较LLMs在处理相同场景但具有不同用户画像时的输出，来量化用户记忆对情感推理的影响。核心在于揭示个性化机制可能引入的社会偏见，并分析这些偏见如何影响模型的情感理解和支持性建议。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 构建用户画像：创建具有不同人口统计特征（如职业、家庭状况、社会经济地位等）的用户画像。2) 设计情感场景：设计一系列用户独立的情感场景，这些场景涵盖各种情感状态和情境。3) LLM评估：将情感场景与不同的用户画像结合，输入到15个不同的LLMs中进行评估。4) 情感智能测试：使用经过人工验证的情感智能测试来评估LLMs对情感的理解和推理能力。5) 偏差分析：分析LLMs在处理不同用户画像时的输出差异，识别潜在的社会偏见。

关键创新：该研究的关键创新在于：1) 系统性地研究了用户记忆对LLMs情感推理的影响，揭示了个性化机制可能引入的社会偏见。2) 使用经过人工验证的情感智能测试来量化LLMs的情感理解能力，并分析了不同人口统计因素对情感推理的影响。3) 提出了一个评估框架，可以用于检测和减轻个性化AI系统中的情感推理偏差。

关键设计：论文的关键设计包括：1) 用户画像的多样性：确保用户画像涵盖各种社会群体，以捕捉不同人口统计因素对情感推理的影响。2) 情感场景的真实性：设计的情感场景应尽可能贴近现实生活，以提高评估结果的可靠性。3) 情感智能测试的有效性：选择经过人工验证的情感智能测试，以确保评估结果的准确性。4) 偏差分析的细致性：采用多种统计方法来分析LLMs的输出差异，识别潜在的社会偏见。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，高性能LLMs在理解优势群体（如富裕高管）的情感时更准确，而对弱势群体（如单亲母亲）的情感理解存在偏差。此外，LLMs在情感理解和支持性建议任务中，对不同人口统计因素表现出显著差异，表明个性化机制可能会将社会等级制度嵌入到模型的情感推理中。这些结果强调了在设计个性化AI系统时，需要特别关注潜在的社会偏见。

🎯 应用场景

该研究成果可应用于开发更公平、更具同理心的AI助手和聊天机器人。通过识别和减轻个性化AI系统中的情感推理偏差，可以避免AI系统强化社会不平等，并确保所有用户都能获得公平和准确的情感支持。此外，该研究还可用于评估和改进其他类型的AI系统，例如推荐系统和风险评估工具，以确保它们不会对特定社会群体产生歧视。

📄 摘要（原文）

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.