Are LLMs Empathetic to All? Investigating the Influence of Multi-Demographic Personas on a Model's Empathy

📄 arXiv: 2510.10328v2 📥 PDF

作者: Ananya Malik, Nazanin Sabri, Melissa Karnaze, Mai Elsherief

分类: cs.CL

发布日期: 2025-10-11 (更新: 2025-10-27)

备注: 9 pages, 4 figures, 4 tables, EMNLP 2025 Findings

💡 一句话要点

提出多元化人群框架以研究LLMs的同理心表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 同理心 人口统计 文化背景 交叉分析 用户体验 人机交互

📋 核心要点

  1. 现有LLMs在不同人口群体中的同理心表现不均，缺乏对多样性背景的考虑。
  2. 本文提出一个基于交叉人口特征的人物角色框架，系统研究LLMs的同理心变化。
  3. 实验结果显示，人口特征对模型的同理心回应有显著影响，尤其在多重特征组合时表现出意外的模式变化。

📝 摘要（中文）

大型语言模型（LLMs）在自然对话中的能力依赖于其对用户的同理理解与回应。然而，情感体验受到人口统计和文化背景的影响。本文提出一个框架，研究LLMs在不同人口特征交叉定义的人物角色下的认知和情感同理心的变化。研究涵盖315个独特的人物角色，结果表明，人口特征显著影响模型的同理心回应，且多重特征的加入可能会削弱甚至逆转预期的同理心模式。研究强调了设计考虑人口多样性的同理心意识LLMs的重要性，以促进更具包容性和公平性的模型行为。

🔬 方法详解

问题定义：本文旨在解决LLMs在不同人口群体中同理心表现不均的问题，现有方法未能充分考虑人口统计和文化背景的影响。

核心思路：通过构建一个包含多种人口特征的人物角色框架，研究LLMs的认知和情感同理心如何随用户特征的变化而变化，以此揭示模型的潜在偏见和局限性。

技术框架：研究设计包括四个主要阶段：1) 定义315个独特的人物角色；2) 选择四种不同的LLMs进行测试；3) 量化模型的同理心回应；4) 结合定性分析，深入探讨模型行为模式。

关键创新：本文的创新在于引入交叉人口特征分析，揭示了多重特征对同理心模式的影响，尤其是对某些文化群体的显著偏差。

关键设计：在实验中，使用了多种人口特征组合，并设计了相应的评估指标，以量化模型的同理心表现，确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，人口特征对LLMs的同理心回应有显著影响，尤其在多重特征组合时，模型的同理心表现出现意外的削弱或逆转。研究揭示了315个独特人物角色的分析结果，提供了对模型行为的深刻见解。

🎯 应用场景

该研究的潜在应用领域包括情感计算、用户体验设计和人机交互等。通过设计更具同理心的LLMs，可以提升用户与机器的互动质量，促进更具包容性的技术应用，尤其是在教育、心理健康和社交平台等领域。

📄 摘要（原文）

Large Language Models' (LLMs) ability to converse naturally is empowered by their ability to empathetically understand and respond to their users. However, emotional experiences are shaped by demographic and cultural contexts. This raises an important question: Can LLMs demonstrate equitable empathy across diverse user groups? We propose a framework to investigate how LLMs' cognitive and affective empathy vary across user personas defined by intersecting demographic attributes. Our study introduces a novel intersectional analysis spanning 315 unique personas, constructed from combinations of age, culture, and gender, across four LLMs. Results show that attributes profoundly shape a model's empathetic responses. Interestingly, we see that adding multiple attributes at once can attenuate and reverse expected empathy patterns. We show that they broadly reflect real-world empathetic trends, with notable misalignments for certain groups, such as those from Confucian culture. We complement our quantitative findings with qualitative insights to uncover model behaviour patterns across different demographic groups. Our findings highlight the importance of designing empathy-aware LLMs that account for demographic diversity to promote more inclusive and equitable model behaviour.