Gender bias across LLMs is common and highly heterogenous
作者: Edoardo Bolzoni, Valerio Capraro
分类: cs.CL, cs.AI, cs.CY, cs.HC
发布日期: 2026-09-29
💡 一句话要点
分析大型语言模型中的性别偏见及其异质性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 性别偏见 大型语言模型 道德判断 刻板印象 模型比较 人工智能伦理 多供应商分析
📋 核心要点
- 核心问题：现有研究仅集中于少数大型语言模型，未能全面评估性别偏见的普遍性和异质性。
- 方法要点：本文通过分析十个不同模型在性别归属和道德判断上的表现，揭示性别偏见的多样性。
- 实验或效果：研究发现部分模型在性别偏见上表现出截然相反的趋势，强调了偏见审计的持续性需求。
📝 摘要（中文）
理解大型语言模型（LLMs）中的性别偏见变得愈发重要，尤其是这些系统在决策支持工具中应用时。以往研究仅关注少数模型，未能全面探讨性别偏见在不同LLMs中的普遍性和异质性。本文研究了2025年4月至2026年6月间发布的十个模型，采用两种方法：对刻板印象短语的性别归属（研究1）和对女性或男性施加虐待或折磨的道德判断（研究2）。结果显示，性别相关偏见在LLMs中普遍存在，但其方向和强度差异显著，部分模型的表现截然相反。因此，偏见审计应视为一个持续的、多供应商的过程，而非一次性评估。
🔬 方法详解
问题定义：本文旨在解决大型语言模型中性别偏见的普遍性和异质性问题。现有方法主要集中于少数模型，未能全面了解不同模型间的偏见表现差异。
核心思路：通过对十个不同模型的性别归属和道德判断进行系统分析，揭示性别偏见的多样性和复杂性。这种设计能够更全面地反映不同模型在性别偏见上的表现。
技术框架：研究分为两个主要部分：第一部分是对刻板印象短语的性别归属分析，第二部分是对施加虐待或折磨的道德判断分析。每个部分都涉及不同模型的比较和结果分析。
关键创新：最重要的创新在于对十个模型的全面比较，揭示了性别偏见的异质性，部分模型在性别偏见上表现出截然相反的趋势。这与以往研究的单一模型分析形成鲜明对比。
关键设计：在实验中，采用了标准化的性别归属和道德判断任务，确保了结果的可比性。模型选择涵盖了多个供应商，确保了研究的广泛性和代表性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在性别归属分析中，部分模型对女性作者的刻板印象短语归属表现出明显偏见，而在道德判断分析中，多个模型展现出对女性目标的保护倾向。这些发现强调了性别偏见在不同模型中的异质性，部分模型的表现甚至截然相反。
🎯 应用场景
该研究的潜在应用领域包括人工智能伦理、决策支持系统和社会科学研究。通过识别和理解大型语言模型中的性别偏见，可以为开发更公平的AI系统提供指导，减少在实际应用中可能产生的偏见影响。
📄 摘要（原文）
Understanding gender biases in large language models (LLMs) is increasingly important as these systems become embedded in decision-support tools with real consequences. Prior research has focused only on a small set of models, leaving open the extent to which gender biases are common and heterogeneous across LLMs. We address this gap across ten models released between April 2025 and June 2026, spanning nine vendors, using two paradigms: gender attribution to stereotyped phrases (Study 1) and moral judgment of abuse or torture against a woman or a man to prevent a catastrophic outcome (Study 2). In Study 1, two of ten models attributed masculine-stereotyped phrases to female writers more often than the reverse, while three models showed the opposite pattern. In Study 2, several models converged on a male-disadvantaging asymmetry that was directionally consistent with a documented human tendency to protect female targets from harm, though the specific conditions under which this asymmetry emerged varied by model; three other models, by contrast, showed no variation across conditions. These results indicate that gender-related biases are common in LLMs. Their direction and magnitude, however, are highly heterogeneous, to the point that some models behave in diametrically opposite ways to others. Bias auditing should therefore be treated as an ongoing, multi-vendor process, rather than a one-time assessment.