Multilingual large language models leak human stereotypes across language boundaries

📄 arXiv: 2312.07141v3 📥 PDF

作者: Yang Trista Cao, Anna Sotnikova, Jieyu Zhao, Linda X. Zou, Rachel Rudinger, Hal Daume

分类: cs.CL

发布日期: 2023-12-12 (更新: 2024-11-19)

💡 一句话要点

揭示多语言大模型中跨语言边界的刻板印象泄露现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 刻板印象泄露 社会偏见 跨语言评估 自然语言处理

📋 核心要点

  1. 现有的多语言大模型易受训练数据中刻板印象的影响，导致模型在不同语言间表现出不一致的偏见。
  2. 论文提出了一种刻板印象泄露的测量框架，用于评估模型在一种语言中学习到的刻板印象如何影响其在另一种语言中的行为。
  3. 实验结果表明，刻板印象泄露现象普遍存在于多种语言和模型中，其中GPT-3.5泄露最多，印地语最易受影响。

📝 摘要（中文）

多语言大型语言模型因其在跨语言处理和生成文本方面的能力而备受关注。与单语模型一样，多语言模型也可能受到训练数据中存在的刻板印象和其他社会偏见的影响。本文研究了一种我们称之为刻板印象泄露的现象，指的是多语言训练模型如何导致一种语言中表达的刻板印象出现在模型在另一种语言中的行为中。我们提出了一个用于测量刻板印象泄露的框架，并研究了其在英语、俄语、中文和印地语以及GPT-3.5、mT5和mBERT中的影响。我们的研究结果表明，所有语言都存在明显的积极、消极和非极性关联的泄露。我们发现，在这些模型中，GPT-3.5表现出最多的刻板印象泄露，而印地语最容易受到泄露效应的影响。警告：本文包含的模型输出可能具有冒犯性。

🔬 方法详解

问题定义：论文旨在研究多语言大型语言模型中存在的刻板印象泄露问题。现有方法缺乏对这种跨语言偏见传播的有效测量和分析，使得我们难以理解和减轻模型中的潜在偏见。

核心思路：核心思路是设计一个测量框架，通过评估模型在不同语言中对同一概念的关联程度，来量化刻板印象的泄露程度。如果模型在一种语言中对某个概念存在刻板印象，并且这种刻板印象影响了其在另一种语言中的行为，则认为发生了刻板印象泄露。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择目标语言（英语、俄语、中文、印地语）和模型（GPT-3.5、mT5、mBERT）；2) 构建包含不同概念（例如职业、性别、种族）的测试集；3) 使用模型生成与这些概念相关的文本；4) 分析生成文本中存在的刻板印象，并量化不同语言之间的泄露程度。

关键创新：该研究的关键创新在于提出了一个用于测量多语言模型中刻板印象泄露的框架。该框架能够有效地评估模型在不同语言之间偏见的传播情况，为我们理解和减轻多语言模型中的偏见提供了新的视角。

关键设计：论文的关键设计包括：1) 使用关联测试来量化模型对不同概念的偏见程度；2) 设计了跨语言的评估方法，以比较模型在不同语言中的表现；3) 针对不同模型和语言进行了广泛的实验，以验证该框架的有效性。

📊 实验亮点

实验结果表明，刻板印象泄露现象普遍存在于多种语言和模型中。GPT-3.5表现出最多的刻板印象泄露，而印地语最容易受到泄露效应的影响。研究还发现，积极、消极和非极性关联都存在泄露现象，表明刻板印象泄露是一个复杂的问题，需要进一步研究。

🎯 应用场景

该研究成果可应用于开发更公平、更负责任的多语言大型语言模型。通过识别和减轻刻板印象泄露，可以减少模型在不同语言和文化背景下的偏见，从而提高模型在各种应用场景中的可靠性和公正性。例如，在跨语言信息检索、机器翻译和内容生成等领域，减少偏见可以避免歧视和误导。

📄 摘要（原文）

Multilingual large language models have gained prominence for their proficiency in processing and generating text across languages. Like their monolingual counterparts, multilingual models are likely to pick up on stereotypes and other social biases present in their training data. In this paper, we study a phenomenon we term stereotype leakage, which refers to how training a model multilingually may lead to stereotypes expressed in one language showing up in the models' behaviour in another. We propose a measurement framework for stereotype leakage and investigate its effect across English, Russian, Chinese, and Hindi and with GPT-3.5, mT5, and mBERT. Our findings show a noticeable leakage of positive, negative, and non-polar associations across all languages. We find that of these models, GPT-3.5 exhibits the most stereotype leakage, and Hindi is the most susceptible to leakage effects. WARNING: This paper contains model outputs which could be offensive in nature.