SESGO: Spanish Evaluation of Stereotypical Generative Outputs

📄 arXiv: 2509.03329v1 📥 PDF

作者: Melissa Robles, Catalina Bernal, Denniss Raigoso, Mateo Dulce Rubio

分类: cs.CY, cs.CL

发布日期: 2025-09-03

💡 一句话要点

SESGO：提出西班牙语刻板印象生成输出评估框架，填补多语言LLM偏见评估的空白。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 偏见评估 西班牙语 文化敏感性 刻板印象 自然语言处理 多语言模型

📋 核心要点

  1. 现有LLM偏见评估主要集中于英语，忽略了其他语言文化背景下的潜在危害，尤其是在西班牙语和拉丁美洲文化中。
  2. 论文提出了一种基于文化的框架，通过引入特定文化表达和谚语，检测LLM在性别、种族等方面的社会偏见。
  3. 实验表明，针对英语优化的偏见缓解技术不能有效迁移到西班牙语任务，且偏见模式在不同采样温度下保持一致。

📝 摘要（中文）

本文旨在解决多语言大型语言模型（LLM）偏见评估中的关键缺口，特别关注拉丁美洲文化背景下的西班牙语。尽管LLM已在全球广泛部署，但目前的评估主要集中在美国英语上，导致其他语言和文化背景下的潜在危害在很大程度上未被检验。我们引入了一种新颖的、基于文化的框架，用于检测指令微调LLM中的社会偏见。我们的方法通过结合文化特定的表达方式和谚语，改编了BBQ数据集中的欠指定问题方法，这些表达方式和谚语编码了跨四个社会类别的区域刻板印象：性别、种族、社会经济阶层和国籍。我们使用超过4,000个提示，提出了一种新的指标，该指标将准确性与误差方向相结合，以有效地平衡模糊和明确语境中的模型性能和偏见对齐。据我们所知，我们的工作首次系统地评估了领先的商业LLM如何响应西班牙语中特定于文化的偏见，揭示了最先进模型中偏见表现的不同模式。我们还提供了证据，表明针对英语优化的偏见缓解技术不能有效地转移到西班牙语任务中，并且偏见模式在不同的采样温度下基本保持一致。我们的模块化框架自然可以扩展到新的刻板印象、偏见类别或语言和文化背景，代表着朝着在AI系统运行的各种语言环境中进行更公平和文化意识评估迈出的重要一步。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）偏见评估主要集中在英语上，忽略了其他语言和文化背景下的偏见，尤其是在西班牙语和拉丁美洲文化中。这导致了在这些地区部署的LLM可能存在未被发现的、特定于文化的偏见，从而造成潜在的社会危害。现有的方法缺乏对这些文化背景的敏感性，无法准确评估LLM在这些环境中的表现。

核心思路：论文的核心思路是构建一个基于文化的偏见评估框架，该框架能够捕捉西班牙语和拉丁美洲文化中特有的刻板印象。通过引入特定于文化的表达方式和谚语，该框架能够更准确地评估LLM在这些文化背景下的偏见表现。这种方法旨在弥补现有评估方法的不足，并为开发更公平和文化敏感的LLM提供指导。

技术框架：该框架主要包含以下几个模块：

  1. 提示生成模块：该模块负责生成包含特定文化表达方式和谚语的提示，这些提示旨在触发LLM中的刻板印象。
  2. LLM推理模块：该模块使用生成的提示对LLM进行推理，并记录LLM的输出。
  3. 偏见评估模块：该模块分析LLM的输出，并使用一种新的指标来评估LLM的偏见程度。该指标结合了准确性与误差方向，以更全面地评估LLM的性能和偏见对齐。

关键创新：该论文最重要的技术创新点在于其基于文化的偏见评估框架。该框架通过引入特定于文化的表达方式和谚语，能够更准确地评估LLM在西班牙语和拉丁美洲文化中的偏见表现。与现有方法相比，该框架更具文化敏感性，能够捕捉到现有方法无法检测到的偏见。此外，提出的新指标结合了准确性与误差方向，能够更全面地评估LLM的性能和偏见对齐。

关键设计：

  1. 提示设计：提示的设计至关重要，需要确保提示能够有效地触发LLM中的刻板印象，同时避免引入其他混淆因素。
  2. 指标设计：提出的新指标需要能够准确地衡量LLM的偏见程度，并能够区分不同类型的偏见。
  3. 实验设计：实验设计需要能够有效地评估该框架的性能，并能够与其他方法进行比较。

📊 实验亮点

实验结果表明，领先的商业LLM在西班牙语中表现出不同模式的偏见。针对英语优化的偏见缓解技术不能有效地转移到西班牙语任务中，并且偏见模式在不同的采样温度下基本保持一致。该研究使用超过4,000个提示，并提出了一种新的指标，该指标结合了准确性与误差方向，以有效地平衡模糊和明确语境中的模型性能和偏见对齐。

🎯 应用场景

该研究成果可应用于评估和改进在西班牙语和拉丁美洲地区部署的LLM，确保其在文化上更加敏感和公平。该框架可以扩展到其他语言和文化背景，为开发更具包容性的AI系统提供指导。此外，该研究可以帮助开发者更好地理解LLM中的偏见来源，并开发更有效的偏见缓解技术。

📄 摘要（原文）

This paper addresses the critical gap in evaluating bias in multilingual Large Language Models (LLMs), with a specific focus on Spanish language within culturally-aware Latin American contexts. Despite widespread global deployment, current evaluations remain predominantly US-English-centric, leaving potential harms in other linguistic and cultural contexts largely underexamined. We introduce a novel, culturally-grounded framework for detecting social biases in instruction-tuned LLMs. Our approach adapts the underspecified question methodology from the BBQ dataset by incorporating culturally-specific expressions and sayings that encode regional stereotypes across four social categories: gender, race, socioeconomic class, and national origin. Using more than 4,000 prompts, we propose a new metric that combines accuracy with the direction of error to effectively balance model performance and bias alignment in both ambiguous and disambiguated contexts. To our knowledge, our work presents the first systematic evaluation examining how leading commercial LLMs respond to culturally specific bias in the Spanish language, revealing varying patterns of bias manifestation across state-of-the-art models. We also contribute evidence that bias mitigation techniques optimized for English do not effectively transfer to Spanish tasks, and that bias patterns remain largely consistent across different sampling temperatures. Our modular framework offers a natural extension to new stereotypes, bias categories, or languages and cultural contexts, representing a significant step toward more equitable and culturally-aware evaluation of AI systems in the diverse linguistic environments where they operate.