On the Influence of Gender and Race in Romantic Relationship Prediction from Large Language Models
作者: Abhilasha Sancheti, Haozhe An, Rachel Rudinger
分类: cs.CL
发布日期: 2024-10-05
备注: Accepted to EMNLP 2024
💡 一句话要点
研究揭示大型语言模型在浪漫关系预测中存在的性别和种族偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 社会偏见 关系预测 姓名替换 公平性 种族偏见 性别偏见
📋 核心要点
- 现有大型语言模型在浪漫关系预测中可能存在偏见，特别是对非异性恋关系和跨种族关系。
- 通过控制姓名替换实验，分析模型对不同性别和种族组合的角色关系预测的倾向性。
- 实验表明，模型对同性关系和涉及亚洲人名的关系预测概率较低，揭示了潜在的偏见。
📝 摘要（中文）
本文研究了大型语言模型中存在的异性恋偏见以及对跨种族浪漫关系的偏见。通过进行受控的姓名替换实验，针对关系预测任务，我们发现模型不太可能预测以下情况的浪漫关系：（a）同性别角色对，而非不同性别角色对；（b）涉及亚洲名字的种族内部/种族间角色对，与涉及黑人、西班牙裔或白人名字的角色对相比。我们检查了名字的上下文嵌入，发现亚洲名字的性别辨识度低于非亚洲名字。我们讨论了研究结果的社会影响，强调需要优先开发包容和公平的技术。
🔬 方法详解
问题定义：论文旨在揭示大型语言模型在预测浪漫关系时，是否存在对特定性别和种族组合的偏见。现有方法缺乏对模型偏见的系统性评估，可能导致模型在实际应用中产生歧视性结果。
核心思路：论文的核心思路是通过控制实验，即替换人物姓名，观察模型对不同性别和种族组合的浪漫关系预测结果的变化。通过分析这些变化，可以推断模型是否存在偏见，以及偏见的程度。
技术框架：论文采用姓名替换实验框架。首先，构建包含人物姓名和关系的文本数据集。然后，使用大型语言模型（具体模型未知）进行关系预测。接着，通过替换人物姓名，改变人物的性别和种族，再次进行关系预测。最后，比较不同姓名组合下的预测结果，分析模型是否存在偏见。
关键创新：论文的关键创新在于使用受控的姓名替换实验来量化大型语言模型中的社会偏见。这种方法能够有效地隔离和评估模型对特定人口统计群体的偏见，为开发更公平的模型提供了依据。
关键设计：实验设计的关键在于选择具有代表性的姓名，并确保替换后的姓名在语言模型中具有相似的频率和语义环境。此外，需要选择合适的评估指标来量化模型预测结果的差异，例如预测概率的差异或排名的变化。具体的损失函数和网络结构未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，大型语言模型在预测浪漫关系时，对同性关系和涉及亚洲人名的关系存在显著偏见。具体而言，模型预测同性关系的概率低于异性关系，预测涉及亚洲人名的关系的概率低于涉及其他种族人名的关系。这些结果揭示了模型中存在的潜在歧视性偏见。
🎯 应用场景
该研究成果可应用于评估和改进大型语言模型在各种下游任务中的公平性，例如招聘、信贷评估和内容推荐。通过识别和减轻模型中的偏见，可以开发出更公平、更包容的技术，避免对特定群体造成歧视，促进社会公平。
📄 摘要（原文）
We study the presence of heteronormative biases and prejudice against interracial romantic relationships in large language models by performing controlled name-replacement experiments for the task of relationship prediction. We show that models are less likely to predict romantic relationships for (a) same-gender character pairs than different-gender pairs; and (b) intra/inter-racial character pairs involving Asian names as compared to Black, Hispanic, or White names. We examine the contextualized embeddings of first names and find that gender for Asian names is less discernible than non-Asian names. We discuss the social implications of our findings, underlining the need to prioritize the development of inclusive and equitable technology.