An Empirical Investigation of Gender Stereotype Representation in Large Language Models: The Italian Case
作者: Gioele Giachino, Marco Rondina, Antonio Vetrò, Riccardo Coppola, Juan Carlos De Martin
分类: cs.CL, cs.AI, cs.CY, cs.HC
发布日期: 2025-07-25
备注: 16 pages, European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2025) - 5th Workshop on Bias and Fairness in AI (BIAS25)
💡 一句话要点
研究揭示大型语言模型在意大利语中性别刻板印象的表达，强调非英语语境下的偏见问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 性别偏见 刻板印象 意大利语 自然语言处理
📋 核心要点
- 大型语言模型可能无意中强化社会刻板印象，尤其是在性别和职业方面，这引发了伦理担忧。
- 该研究通过设计包含职业组合的意大利语提示，分析ChatGPT和Gemini对无性别提示的反应，评估其偏见程度。
- 实验结果表明，LLM倾向于将女性代词与层级较低的职业相关联，揭示了其在非英语语境下延续性别刻板印象的风险。
📝 摘要（中文）
本研究调查了大型语言模型（LLM）在多大程度上会延续刻板印象并产生带有偏见的内容，重点关注性别和职业偏见。通过结构化的实验方法，使用包含三种不同职业组合（具有层级关系）的提示，分析LLM如何对无性别提示做出反应，从而产生有偏见的输出。该研究使用意大利语，一种具有广泛语法性别差异的语言，以突出当前LLM在非英语语言中生成客观文本的能力的潜在局限性。研究考察了两个流行的基于LLM的聊天机器人：OpenAI ChatGPT (gpt-4o-mini) 和 Google Gemini (gemini-1.5-flash)。通过API收集了3600个回复。结果表明，LLM生成的内容会延续刻板印象。例如，Gemini将100%（ChatGPT 97%）的“她”代词与“助理”而非“经理”相关联。AI生成文本中存在的偏见可能对工作场所或职位选择等许多领域产生重大影响，从而引发对其使用的伦理担忧。理解这些风险对于制定缓解策略至关重要，并确保基于AI的系统不会加剧社会不平等，而是有助于更公平的结果。未来的研究方向包括将研究扩展到更多的聊天机器人或语言，改进提示工程方法或进一步利用更大的实验基础。
🔬 方法详解
问题定义：该论文旨在研究大型语言模型（LLM）在生成文本时，是否会表现出性别刻板印象，尤其是在意大利语这种具有显著语法性别差异的语言中。现有方法主要集中在英语语境下，忽略了非英语语言的特殊性，并且缺乏对职业层级关系的细致考量。
核心思路：核心思路是通过设计一系列包含不同职业组合（例如经理和助理）的无性别提示，输入到LLM中，然后分析LLM生成的文本中代词的性别指向，以此来量化LLM的性别偏见程度。之所以选择意大利语，是因为其语法性别特征可以更清晰地揭示LLM在处理性别信息时的潜在偏见。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 设计包含三种不同职业组合的意大利语提示，这些职业组合具有层级关系；2) 通过API接口，将这些提示输入到两个流行的LLM（ChatGPT和Gemini）中；3) 收集LLM生成的回复；4) 分析回复中代词的性别指向，统计不同性别代词与不同职业的关联程度，从而量化LLM的性别偏见。
关键创新：该研究的关键创新在于：1) 关注非英语语境下的LLM性别偏见问题，填补了现有研究的空白；2) 采用结构化的实验方法，通过设计包含职业层级关系的提示，更细致地评估LLM的性别偏见；3) 使用意大利语作为研究对象，利用其语法性别特征，更清晰地揭示LLM的性别偏见。
关键设计：研究的关键设计包括：1) 提示的设计：提示需要保证无性别指向，但包含具有层级关系的职业组合；2) LLM的选择：选择了两个流行的LLM（ChatGPT和Gemini），以保证研究的代表性；3) 数据收集：通过API接口收集了大量的回复（3600个），以保证研究的统计效力；4) 偏见量化：通过统计代词的性别指向，量化LLM的性别偏见程度。
📊 实验亮点
实验结果显示，Gemini在100%的情况下将“她”代词与“助理”而非“经理”相关联，而ChatGPT的比例为97%。这表明，即使是先进的LLM，在处理意大利语时，也存在显著的性别刻板印象，倾向于将女性与层级较低的职业联系起来。该研究量化了这种偏见，为后续的改进工作提供了依据。
🎯 应用场景
该研究的成果可应用于评估和改进大型语言模型在生成文本时的公平性，尤其是在招聘、教育和客户服务等领域。通过降低AI生成内容中的性别偏见，可以促进更公平的社会环境，并避免潜在的歧视行为。未来的研究可以扩展到其他语言和文化背景，以更全面地了解AI的偏见问题。
📄 摘要（原文）
The increasing use of Large Language Models (LLMs) in a large variety of domains has sparked worries about how easily they can perpetuate stereotypes and contribute to the generation of biased content. With a focus on gender and professional bias, this work examines in which manner LLMs shape responses to ungendered prompts, contributing to biased outputs. This analysis uses a structured experimental method, giving different prompts involving three different professional job combinations, which are also characterized by a hierarchical relationship. This study uses Italian, a language with extensive grammatical gender differences, to highlight potential limitations in current LLMs' ability to generate objective text in non-English languages. Two popular LLM-based chatbots are examined, namely OpenAI ChatGPT (gpt-4o-mini) and Google Gemini (gemini-1.5-flash). Through APIs, we collected a range of 3600 responses. The results highlight how content generated by LLMs can perpetuate stereotypes. For example, Gemini associated 100% (ChatGPT 97%) of 'she' pronouns to the 'assistant' rather than the 'manager'. The presence of bias in AI-generated text can have significant implications in many fields, such as in the workplaces or in job selections, raising ethical concerns about its use. Understanding these risks is pivotal to developing mitigation strategies and assuring that AI-based systems do not increase social inequalities, but rather contribute to more equitable outcomes. Future research directions include expanding the study to additional chatbots or languages, refining prompt engineering methods or further exploiting a larger experimental base.