GIEBench: Towards Holistic Evaluation of Group Identity-based Empathy for Large Language Models

📄 arXiv: 2406.14903v2 📥 PDF

作者: Leyan Wang, Yonggang Jin, Tianhao Shen, Tianyu Zheng, Xinrun Du, Chenchen Zhang, Wenhao Huang, Jiaheng Liu, Shi Wang, Ge Zhang, Liuyu Xiang, Zhaofeng He

分类: cs.AI

发布日期: 2024-06-21 (更新: 2024-06-24)

🔗 代码/项目: GITHUB

💡 一句话要点

GIEBench：构建群体身份共情能力评测基准，提升大语言模型对不同群体的理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 共情能力 群体身份 评估基准 人机交互

📋 核心要点

  1. 现有共情评估基准忽略了个体群体身份背景，无法全面评估LLM对不同群体的共情能力。
  2. GIEBench构建了一个包含11个身份维度、97个群体身份的综合性基准，用于评估LLM在特定群体身份下的共情能力。
  3. 实验结果表明，LLM在理解不同身份立场方面存在不足，需要进一步提升其对不同价值观的对齐能力。

📝 摘要（中文）

随着大型语言模型（LLMs）的不断发展和广泛应用，LLMs对不同群体身份表现出共情能力并理解其视角的能力日益重要。现有的大多数LLMs共情评估基准主要关注普遍的人类情感，如悲伤和痛苦，往往忽略了个体群体身份的背景。为了弥补这一差距，我们推出了GIEBench，这是一个综合性的基准，包含11个身份维度，涵盖97个群体身份，总共有999个与特定群体身份相关的单选题。GIEBench旨在评估LLMs在面对性别、年龄、职业和种族等特定群体身份时所表现出的共情能力，强调它们从已识别群体的立场做出回应的能力。这支持了为具有不同身份的用户量身定制的共情LLM应用的持续开发。我们对23个LLMs的评估表明，虽然这些LLMs理解不同的身份立场，但如果没有明确的指示来采纳这些观点，它们就无法始终如一地对这些身份表现出同等的共情。这突显了需要改进LLMs与不同价值观的对齐，以更好地适应人类身份的多方面性。我们的数据集可在https://github.com/GIEBench/GIEBench上找到。

🔬 方法详解

问题定义：现有的大语言模型共情能力评估基准主要关注普遍的人类情感，忽略了个体所属的群体身份背景，例如性别、年龄、职业、种族等。这导致无法全面评估LLM是否能够真正理解并共情不同群体的观点和感受。现有方法的痛点在于缺乏针对特定群体身份的细粒度评估。

核心思路：GIEBench的核心思路是构建一个包含多种群体身份维度和大量相关问题的基准数据集，通过评估LLM在面对不同群体身份时的回答，来衡量其共情能力。该基准强调LLM从特定群体身份的立场出发进行回应的能力，从而更准确地反映其对不同群体的理解程度。

技术框架：GIEBench主要包含以下几个部分： 1. 身份维度定义：定义了11个身份维度，例如性别、年龄、职业、种族等。 2. 群体身份选择：在每个身份维度下，选择了多个具有代表性的群体身份，总共涵盖97个群体身份。 3. 问题生成：针对每个群体身份，设计了多个单选题，总共生成999个问题。 4. 评估指标：使用准确率等指标来评估LLM在回答问题时的表现，从而衡量其共情能力。

关键创新：GIEBench最重要的技术创新点在于其对群体身份的细粒度划分和针对性问题设计。与现有方法相比，GIEBench不再仅仅关注普遍的人类情感，而是深入到具体的群体身份背景中，从而能够更准确地评估LLM对不同群体的共情能力。这种细粒度的评估方法有助于发现LLM在处理不同群体身份时可能存在的偏差和不足。

关键设计：GIEBench的关键设计在于其问题生成方式。问题设计需要确保能够反映特定群体身份的观点和感受，同时避免引入歧视或偏见。此外，GIEBench还考虑了问题的难度和多样性，以确保能够全面评估LLM的共情能力。具体的问题生成方法未知。

🖼️ 关键图片

img_0

📊 实验亮点

研究团队使用GIEBench对23个LLM进行了评估，结果表明，虽然这些LLM在一定程度上理解不同的身份立场，但如果没有明确的指令来采纳这些观点，它们就无法始终如一地对这些身份表现出同等的共情。这表明现有LLM在处理不同群体身份时存在偏差，需要进一步改进其对不同价值观的对齐能力。具体的性能数据和对比基线未知。

🎯 应用场景

GIEBench的研究成果可以应用于开发更具共情能力的大语言模型，这些模型能够更好地理解和回应不同用户的需求，尤其是在涉及心理咨询、客户服务、教育等领域。通过提升LLM对不同群体身份的理解，可以减少模型输出中的偏见和歧视，从而构建更加公平和包容的人工智能系统。该研究还有助于推动人机交互领域的发展，使人机交互更加自然和流畅。

📄 摘要（原文）

As large language models (LLMs) continue to develop and gain widespread application, the ability of LLMs to exhibit empathy towards diverse group identities and understand their perspectives is increasingly recognized as critical. Most existing benchmarks for empathy evaluation of LLMs focus primarily on universal human emotions, such as sadness and pain, often overlooking the context of individuals' group identities. To address this gap, we introduce GIEBench, a comprehensive benchmark that includes 11 identity dimensions, covering 97 group identities with a total of 999 single-choice questions related to specific group identities. GIEBench is designed to evaluate the empathy of LLMs when presented with specific group identities such as gender, age, occupation, and race, emphasizing their ability to respond from the standpoint of the identified group. This supports the ongoing development of empathetic LLM applications tailored to users with different identities. Our evaluation of 23 LLMs revealed that while these LLMs understand different identity standpoints, they fail to consistently exhibit equal empathy across these identities without explicit instructions to adopt those perspectives. This highlights the need for improved alignment of LLMs with diverse values to better accommodate the multifaceted nature of human identities. Our datasets are available at https://github.com/GIEBench/GIEBench.