Social Bias Benchmark for Generation: A Comparison of Generation and QA-Based Evaluations

📄 arXiv: 2503.06987v2 📥 PDF

作者: Jiho Jin, Woosung Kang, Junho Myung, Alice Oh

分类: cs.CL, cs.AI

发布日期: 2025-03-10 (更新: 2025-06-12)

备注: ACL-Findings 2025

💡 一句话要点

提出Bias Benchmark for Generation (BBG)，用于评估长文本生成中大型语言模型的社会偏见。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会偏见 大型语言模型 长文本生成 偏见评估 基准测试

📋 核心要点

  1. 现有偏见评估方法难以有效评估大型语言模型在长文本生成中的社会偏见。
  2. 提出BBG基准，通过续写故事提示的方式评估LLM在长文本生成中的偏见，扩展了BBQ。
  3. 在英韩双语数据集上评估了十个LLM，并对比了BBG与BBQ的结果，发现两者评估结果不一致。

📝 摘要（中文）

评估大型语言模型（LLMs）中的社会偏见至关重要，但现有的偏见评估方法难以评估长文本生成中的偏见。我们提出了Bias Benchmark for Generation (BBG)，它是Bias Benchmark for QA (BBQ)的改编版本，旨在通过让LLMs生成故事提示的延续来评估长文本生成中的社会偏见。我们在英语和韩语中构建了我们的基准，测量了十个LLMs中中性和有偏见生成的概率。我们还将我们的长篇故事生成评估结果与多项选择BBQ评估进行了比较，表明这两种方法产生的结果不一致。

🔬 方法详解

问题定义：论文旨在解决现有方法难以有效评估大型语言模型在长文本生成任务中存在的社会偏见的问题。现有的偏见评估方法，如Bias Benchmark for QA (BBQ)，主要针对问答场景，无法直接应用于评估长文本生成模型，因此需要一种新的评估方法来衡量长文本生成中的偏见。

核心思路：论文的核心思路是借鉴BBQ的思想，将其扩展到长文本生成领域。具体来说，就是设计一系列故事提示，这些提示包含潜在的社会偏见，然后让LLM生成故事的后续内容，通过分析生成内容中是否包含偏见来评估模型的偏见程度。这样设计的目的是为了更真实地模拟LLM在实际应用中可能遇到的情况，从而更准确地评估其偏见。

技术框架：BBG的整体框架包括以下几个主要步骤：1) 设计包含潜在社会偏见的故事提示；2) 使用LLM生成故事提示的后续内容；3) 对生成的文本进行分析，判断其中是否包含偏见；4) 统计不同LLM生成偏见文本的概率，从而评估其偏见程度。该框架的关键在于故事提示的设计和偏见判断的标准。

关键创新：论文的关键创新在于将BBQ的思想扩展到长文本生成领域，并设计了相应的评估方法。与现有的偏见评估方法相比，BBG更适合评估长文本生成模型，并且能够更真实地反映模型在实际应用中可能存在的偏见。此外，论文还构建了英韩双语的BBG基准，为跨语言的偏见评估提供了支持。

关键设计：BBG的关键设计包括：1) 故事提示的设计，需要确保提示包含潜在的社会偏见，并且能够引导LLM生成具有一定长度的文本；2) 偏见判断的标准，需要明确定义哪些文本被认为是包含偏见的，以及如何衡量偏见的程度；3) 评估指标的选择，需要选择合适的指标来衡量LLM生成偏见文本的概率，例如，可以使用生成文本中包含特定关键词的频率来衡量偏见程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同的LLM在BBG基准上的表现存在显著差异，表明BBG能够有效区分不同模型的偏见程度。此外，BBG与BBQ的评估结果不一致，说明针对问答和长文本生成的偏见评估需要不同的方法。论文构建的英韩双语BBG基准为跨语言的偏见评估提供了数据基础。

🎯 应用场景

该研究成果可应用于评估和改进大型语言模型，减少其在长文本生成中产生的社会偏见。这对于构建更公平、更负责任的AI系统至关重要，尤其是在新闻生成、故事创作、对话系统等领域，可以避免模型生成带有歧视或偏见的内容，从而提升用户体验和社会效益。

📄 摘要（原文）

Measuring social bias in large language models (LLMs) is crucial, but existing bias evaluation methods struggle to assess bias in long-form generation. We propose a Bias Benchmark for Generation (BBG), an adaptation of the Bias Benchmark for QA (BBQ), designed to evaluate social bias in long-form generation by having LLMs generate continuations of story prompts. Building our benchmark in English and Korean, we measure the probability of neutral and biased generations across ten LLMs. We also compare our long-form story generation evaluation results with multiple-choice BBQ evaluation, showing that the two approaches produce inconsistent results.