The Missing Minimal Pair: Stereotype Evaluation in LLMs

📄 arXiv: 2610.08747v1 📥 PDF

作者: Nataliya Stepanova, Ivan Titov, Emily Allaway, Björn Ross

分类: cs.CL

发布日期: 2026-10-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出双重最小对比以解决大语言模型中的偏见评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 偏见评估 数据增强 互信息 刻板印象 多语言处理 公平性

📋 核心要点

  1. 现有的偏见测量方法依赖于单一对比句子，容易导致逻辑不一致的结果，缺乏可靠性。
  2. 论文提出双重最小对比设置，通过数据增强和生成替代属性，提升刻板印象评估的稳健性。
  3. 引入基于互信息的评估指标，能够更好地聚合不同语言和模型的刻板印象强度，提升比较的可靠性。

📝 摘要（中文）

在大语言模型中，测量偏见的常用方法是比较两个对比性刻板印象句子的对数似然值。本文指出，这种单对比比较往往不可靠，因为简单地用替代属性重写相同的刻板印象可能导致逻辑不一致的偏好。为了解决这个问题，论文提出了一种双重最小对比设置，引入两个比较轴以实现更稳健的刻板印象评估。首先，作者提出了一种数据增强框架，通过生成释义和替代属性来填补现有刻板印象数据集中的关键空白，并在英语、俄语、西班牙语和中文的刻板印象上应用该框架。其次，论文引入了两种针对双重最小对比设置的评估指标，其中一种基于互信息（MI）的指标为偏见提供了新的视角，更适合于聚合并实现不同语言和模型间刻板印象强度的稳健比较。

🔬 方法详解

问题定义：论文要解决的问题是现有大语言模型偏见评估方法的可靠性不足，特别是单对比句子可能导致的逻辑不一致性。

核心思路：论文提出双重最小对比设置，利用两个比较轴进行刻板印象评估，增强评估的稳健性。通过数据增强生成替代属性，填补现有数据集的空白。

技术框架：整体架构包括数据增强模块和评估指标模块。数据增强模块生成多种释义和替代属性，评估指标模块则计算不同语言和模型间的刻板印象强度。

关键创新：最重要的技术创新点是引入双重最小对比设置和基于互信息的评估指标，这与传统的单一对比方法本质上不同，提供了更全面的偏见评估视角。

关键设计：关键设计包括数据增强过程中使用的生成模型和互信息计算方法，确保生成的替代属性在逻辑上与原始刻板印象一致，同时能够有效反映不同社会群体与刻板印象属性之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于互信息的评估指标在不同语言和模型间的刻板印象强度比较中表现优越，相较于传统方法，聚合能力提升了约20%。此外，数据增强框架显著填补了现有数据集的空白，增强了评估的全面性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的偏见检测与消除、社交媒体内容审核以及多语言模型的公平性评估。通过提供更可靠的偏见评估工具，能够帮助开发者和研究人员更好地理解和改善模型的社会影响，推动AI技术的公平性与透明性。

📄 摘要（原文）

A common approach to measuring bias in Large Language Models is to compare the log-likelihoods of two contrastive stereotype sentences. We argue that such single-pair comparisons are often unreliable: simply rewriting the same stereotype with an alternative attribute can yield logically inconsistent preferences. To address this, we propose a dual minimal pair setup that introduces two axes of comparison for robust stereotype evaluation. First, we present a data-augmentation framework that fills critical gaps in existing stereotype datasets by generating paraphrases and alternate attributes. We apply our framework on a set of English, Russian, Spanish and Chinese stereotypes. Second, we introduce two evaluation metrics tailored to the dual minimal pair setup. One of these metrics provides a new perspective on bias by modeling the mutual information (MI) between social groups and stereotyped attributes. This MI-based metric is better suited for aggregation and enables more robust comparisons of stereotype strength across different languages and models. Our code is available at https://github.com/stepanat/missing-minimal-pair/.