What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages

📄 arXiv: 2407.09704v1 📥 PDF

作者: Viktor Mihaylov, Aleksandar Shtedritski

分类: cs.CL

发布日期: 2024-07-12

💡 一句话要点

多语言LLM在不同语言中表现出相似的基于语法性别的偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言LLM 语法性别 偏见分析 跨语言迁移 心理语言学 自然语言处理 形容词共现

📋 核心要点

  1. 现有方法难以量化多语言LLM中存在的、与语法性别相关的潜在偏见。
  2. 利用多语言LLM，通过分析其在不同语言中描述名词时使用的形容词，来揭示其偏见模式。
  3. 实验表明，简单的分类器可以跨语言预测名词的语法性别，揭示LLM在不同语言中存在相似的偏见。

📝 摘要（中文）

本文通过语法性别的视角研究大型语言模型（LLM）的偏见。受到心理语言学领域开创性工作的启发，特别是性别对语言感知影响的研究，我们利用多语言LLM来重新审视和扩展Boroditsky（2003）的实验。我们采用LLM作为一种新颖的方法来检验与语法性别相关的心理语言学偏见，提示模型用不同语言的形容词来描述名词，特别关注具有语法性别的语言。具体来说，我们研究了跨性别和语言的形容词共现情况，并训练了一个二元分类器，以根据LLM用于描述名词的形容词来预测语法性别。令人惊讶的是，我们发现一个简单的分类器不仅可以高于偶然概率地预测名词性别，而且还表现出跨语言的可迁移性。我们表明，虽然LLM可能用不同的语言描述单词，但它们表现出相似的偏见。

🔬 方法详解

问题定义：论文旨在研究多语言大型语言模型（LLM）在处理不同语言时，是否会受到语法性别的影响，从而表现出相似的偏见。现有的方法通常难以直接量化和比较LLM在不同语言中的偏见，尤其是在语法性别这一特定维度上。之前的研究可能集中在单语模型或特定任务上，缺乏对多语言LLM跨语言偏见模式的深入分析。

核心思路：论文的核心思路是借鉴心理语言学中关于语法性别影响语言感知的研究，将LLM视为一种新的研究工具，通过分析LLM在不同语言中描述名词时使用的形容词，来推断其潜在的偏见。这种方法的核心在于，如果LLM对不同语言中的名词赋予了相似的形容词，那么就可以认为它在这些语言中表现出相似的偏见。

技术框架：整体框架包括以下几个主要步骤：1) 选择具有语法性别的多种语言；2) 提示LLM用形容词描述不同语言中的名词；3) 分析形容词在不同性别和语言中的共现情况；4) 训练一个二元分类器，根据LLM使用的形容词来预测名词的语法性别；5) 评估分类器在不同语言上的性能，以及其跨语言的可迁移性。

关键创新：该研究的关键创新在于将LLM作为一种研究心理语言学偏见的新工具，并提出了一种量化和比较多语言LLM跨语言偏见的方法。与传统方法相比，该方法能够更直接地揭示LLM在处理不同语言时所表现出的潜在偏见模式。

关键设计：论文的关键设计包括：1) 精心设计的提示语，用于引导LLM生成描述名词的形容词；2) 选择合适的二元分类器，用于预测名词的语法性别；3) 采用交叉验证等方法，评估分类器的性能和泛化能力；4) 关注形容词的共现模式，以及其在不同性别和语言之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，一个简单的二元分类器能够以高于偶然概率的准确率预测名词的语法性别，并且该分类器在不同语言之间具有一定的可迁移性。这表明，即使LLM在不同语言中使用了不同的词汇来描述名词，它们仍然表现出相似的偏见模式。例如，用于描述阳性名词的形容词在不同语言中可能存在相似的语义倾向。

🎯 应用场景

该研究的潜在应用领域包括：提升多语言LLM的公平性和公正性，减少其在不同语言中存在的偏见；改进机器翻译系统，使其能够更准确地处理与性别相关的语言现象；开发更具文化敏感性的自然语言处理应用。未来的影响在于，该研究可以促进对LLM偏见的更深入理解，并为开发更可靠、更公平的AI系统提供指导。

📄 摘要（原文）

This paper investigates biases of Large Language Models (LLMs) through the lens of grammatical gender. Drawing inspiration from seminal works in psycholinguistics, particularly the study of gender's influence on language perception, we leverage multilingual LLMs to revisit and expand upon the foundational experiments of Boroditsky (2003). Employing LLMs as a novel method for examining psycholinguistic biases related to grammatical gender, we prompt a model to describe nouns with adjectives in various languages, focusing specifically on languages with grammatical gender. In particular, we look at adjective co-occurrences across gender and languages, and train a binary classifier to predict grammatical gender given adjectives an LLM uses to describe a noun. Surprisingly, we find that a simple classifier can not only predict noun gender above chance but also exhibit cross-language transferability. We show that while LLMs may describe words differently in different languages, they are biased similarly.