Name-Bias in Large Language Models

📄 arXiv: 2610.22053v1 📥 PDF

作者: Kalyan Bhetwal, Ceren Mert, Ian Whitehouse

分类: cs.CL

发布日期: 2026-10-15

💡 一句话要点

评估大型语言模型中的姓名偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 姓名偏见 大型语言模型 公平性 自然语言处理 偏见评估 社交媒体 人机交互

📋 核心要点

  1. 姓名偏见在大型语言模型中普遍存在，影响模型的公平性和准确性。
  2. 通过设计填空任务，论文评估了不同模型对姓名的偏好，控制了年龄和性别的影响。
  3. 实验结果表明，模型偏好较少刻板印象的姓名，性别偏见最为显著，强调了评估和缓解的必要性。

📝 摘要（中文）

姓名携带着年龄、性别和种族等人口统计指标，因此在大型语言模型（LLMs）中成为一种微妙但强烈的偏见目标。本文评估了6个不同提供商和参数规模的本地大型语言模型中的姓名偏见。通过填空任务，模型在成对的姓名中选择，结果显示模型偏好较少刻板印象的男性、年龄较大、受欢迎和白人姓名。研究发现姓名偏见在句子中高度依赖，但性别偏见最为显著，其次是年龄、姓名受欢迎程度和种族。结果表明，姓名偏见在本地LLMs中依然普遍，强调了标准化评估方法和缓解策略的必要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中的姓名偏见问题，现有方法未能充分评估这一偏见的影响，尤其是在本地模型中。

核心思路：通过设计填空任务，论文评估模型在选择姓名时的偏好，控制了年龄和性别的影响，以便更准确地测量姓名偏见。

技术框架：研究使用了300,000个本地LLM的响应，采用平衡的姓名配对和固定句法结构的句子模板，以确保实验的有效性和可靠性。

关键创新：论文的创新在于系统性地评估姓名偏见，并揭示其在不同句子中的依赖性，尤其是性别偏见的显著性。

关键设计：使用了来自美国社会保障局的数据集和Rosenman等人的种族分类数据集，设计了平衡的姓名配对和句子模板，以控制其他变量的影响。实验设计确保了结果的可重复性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在300,000个响应中表现出一致且可测量的姓名偏见，偏好较少刻板印象的男性、年龄较大、受欢迎和白人姓名。性别偏见是最显著的，后续为年龄、姓名受欢迎程度和种族，强调了姓名偏见的普遍性和句子依赖性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、社交媒体内容生成和人机交互等。通过识别和缓解姓名偏见，能够提升模型的公平性和用户体验，促进更具包容性的AI系统的发展。未来，研究结果可为制定标准化评估方法和偏见缓解策略提供依据。

📄 摘要（原文）

Names carry demographic indicators such as age, gender, and race, which makes them a subtle but strong target of bias in large language models (LLMs). In this work, we present an evaluation of name-based bias across 6 local large language models spanning multiple providers and parameter scales. Using a fill-in-the-blank task, we prompt these models to choose between pairs of first names drawn from U.S. Social Security Administration datasets and a race classification dataset by Rosenman et al.. Our experimental de- sign isolates age and gender effects through balanced name pairings and sentence templates that share a fixed syntactic structure. Across 300,000 local LLM responses, we find consistent and measurable name bias. Models prefer names that are less stereotypically male, older, popular, and white. Furthermore, we find that name-bias is highly sentence-dependent, but not more than associated stereotypes, and gender is the most significant bias, followed by age, name popularity, and race. Our results demonstrate that name-based bias remains pervasive even in local LLMs, highlighting the necessity for standardized evaluation methods and mitigation strategies.