"A Woman is More Culturally Knowledgeable than A Man?": The Effect of Personas on Cultural Norm Interpretation in LLMs

📄 arXiv: 2409.11636v1 📥 PDF

作者: Mahammed Kamruzzaman, Hieu Nguyen, Nazmul Hassan, Gene Louis Kim

分类: cs.CL

发布日期: 2024-09-18

备注: Preprint, Under Review

💡 一句话要点

研究表明LLM对社会规范的理解受人物角色影响，不同角色导致文化规范解释差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会规范理解 人物角色 社会偏见 文化敏感性

📋 核心要点

  1. 现有LLM的社会规范理解应与人物角色无关，但实际情况可能存在偏差，影响其在文化敏感场景的应用。
  2. 该研究通过为LLM分配不同社会人口学特征的人物角色，观察其对社会规范理解的差异，揭示潜在偏见。
  3. 实验结果表明，LLM对社会规范的解释受人物角色影响，且社会期望越高的人物角色通常能更准确地理解规范。

📝 摘要（中文）

随着大型语言模型（LLM）的部署日益广泛，对个性化LLM的需求也在增加。一种个性化和引导模型输出的方法是分配人物角色——一种描述LLM预期行为的角色（例如，男人、女人、工程师）。本研究调查了LLM对社会规范的理解是否因分配的人物角色而异。理想情况下，对社会规范的感知应该保持一致，不受人物角色的影响，因为社会规范的可接受性应该由规范起源的地区决定，而不是由性别、体型或种族等个人特征决定。规范在其文化背景下是普遍的。在我们的研究中，我们测试了来自12个社会人口类别（例如，年龄、性别、美貌）的36个不同的人物角色，跨越了四个不同的LLM。我们发现，LLM的文化规范解释因使用的人物角色而异，并且规范解释在社会人口类别内也存在差异（例如，体型组中的胖人和瘦人），其中具有更具社会期望的人物角色（例如，瘦人）的LLM比具有较少社会期望的人物角色（例如，胖人）的LLM更准确地解释社会规范。我们还讨论了不同类型的社会偏见如何导致我们观察到的结果。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在理解社会规范时，是否会受到分配的人物角色（Persona）的影响。现有方法的痛点在于，LLM的输出应该基于客观的文化规范，而不应受到性别、年龄、体型等人物角色特征的干扰，但实际情况可能并非如此，这会影响LLM在跨文化交流等场景中的应用。

核心思路：论文的核心思路是通过为LLM分配不同的人物角色，然后测试它们对同一社会规范的理解。如果LLM的理解受到人物角色的影响，则表明LLM存在偏见。这种方法能够量化人物角色对LLM社会规范理解的影响程度。

技术框架：该研究的技术框架主要包括以下几个步骤：1. 选择四个不同的LLM模型进行测试。2. 定义12个社会人口类别（例如，年龄、性别、美貌），并为每个类别创建多个不同的人物角色（总共36个）。3. 设计一系列测试用例，用于评估LLM在不同人物角色下对社会规范的理解。4. 分析LLM的输出，比较不同人物角色下的理解差异，并统计分析结果。

关键创新：该研究的关键创新在于它系统性地研究了人物角色对LLM社会规范理解的影响。以往的研究可能关注于LLM的性别偏见或种族偏见，但很少有研究关注人物角色对社会规范理解的整体影响。该研究通过构建包含多种社会人口类别的人物角色，更全面地揭示了LLM的潜在偏见。

关键设计：研究的关键设计包括：1. 人物角色的选择：选择了12个具有代表性的社会人口类别，并为每个类别创建了多个不同的人物角色，以确保研究的全面性。2. 测试用例的设计：设计了一系列测试用例，用于评估LLM在不同人物角色下对社会规范的理解。测试用例需要涵盖不同的文化背景和社会情境，以确保研究的有效性。3. 评估指标的选择：选择了合适的评估指标，用于量化LLM的社会规范理解能力。评估指标需要能够反映LLM的理解准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM对社会规范的解释受到人物角色的显著影响。例如，具有更具社会期望的人物角色（如瘦人）的LLM比具有较少社会期望的人物角色（如胖人）的LLM更准确地解释社会规范。此外，研究还发现，即使在同一社会人口类别内，不同的人物角色也会导致LLM对社会规范的理解产生差异。

🎯 应用场景

该研究成果可应用于提升LLM在跨文化交流、个性化推荐、智能客服等领域的表现。通过消除人物角色对社会规范理解的偏见，可以使LLM更好地适应不同的文化背景，提供更准确、更符合用户期望的服务。此外，该研究还可以帮助开发者更好地理解LLM的潜在偏见，从而开发出更公平、更可靠的AI系统。

📄 摘要（原文）

As the deployment of large language models (LLMs) expands, there is an increasing demand for personalized LLMs. One method to personalize and guide the outputs of these models is by assigning a persona -- a role that describes the expected behavior of the LLM (e.g., a man, a woman, an engineer). This study investigates whether an LLM's understanding of social norms varies across assigned personas. Ideally, the perception of a social norm should remain consistent regardless of the persona, since acceptability of a social norm should be determined by the region the norm originates from, rather than by individual characteristics such as gender, body size, or race. A norm is universal within its cultural context. In our research, we tested 36 distinct personas from 12 sociodemographic categories (e.g., age, gender, beauty) across four different LLMs. We find that LLMs' cultural norm interpretation varies based on the persona used and the norm interpretation also varies within a sociodemographic category (e.g., a fat person and a thin person as in physical appearance group) where an LLM with the more socially desirable persona (e.g., a thin person) interprets social norms more accurately than with the less socially desirable persona (e.g., a fat person). We also discuss how different types of social biases may contribute to the results that we observe.