Social Bias Evaluation for Large Language Models Requires Prompt Variations

📄 arXiv: 2407.03129v1 📥 PDF

作者: Rem Hida, Masahiro Kaneko, Naoaki Okazaki

分类: cs.CL

发布日期: 2024-07-03

💡 一句话要点

大型语言模型社会偏见评估需考虑提示的多样性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会偏见 提示工程 评估方法 公平性 可信赖AI

📋 核心要点

  1. 现有研究在评估和缓解大型语言模型（LLMs）的社会偏见时，往往依赖于有限的提示种类，忽略了LLMs对提示的敏感性。
  2. 该研究通过改变任务指令、少样本示例和去偏见提示等提示变体，分析LLMs在任务性能和社会偏见方面的敏感性。
  3. 实验结果表明，LLMs对提示高度敏感，模型排名会随提示变化而波动，且性能与社会偏见之间存在权衡关系。

📝 摘要（中文）

警告：本文包含刻板印象和偏见的例子。大型语言模型（LLMs）表现出显著的社会偏见，许多研究试图准确评估和缓解这些偏见。以往的研究使用下游任务作为提示来检查社会偏见的程度，以进行评估和缓解。虽然LLMs的输出高度依赖于提示，但以往评估和缓解偏见的研究通常依赖于有限种类的提示。在本文中，我们通过分析LLMs的任务性能和社会偏见，研究了改变提示变体（任务指令和提示、少样本示例、去偏见提示）时LLMs的敏感性。我们的实验结果表明，LLMs对提示高度敏感，以至于在比较模型以评估任务性能和社会偏见时，LLMs的排名会发生波动。此外，我们表明，LLMs在性能和社会偏见之间存在由提示引起的权衡。来自提示设置的较少偏见可能导致性能下降。此外，实例的模糊性是高级LLMs对提示敏感的原因之一，导致各种输出。我们建议像本研究一样使用不同的提示来比较提示对LLMs中社会偏见的影响。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在社会偏见评估中，对提示词的选择非常敏感。以往的研究往往只使用少量固定的提示词，无法全面评估LLMs的偏见程度。这种做法的痛点在于，评估结果可能受到特定提示词的偶然影响，导致对LLMs偏见程度的误判。

核心思路：本文的核心思路是通过系统性地改变提示词的各种变体（例如任务指令、少样本示例、去偏见提示），来考察LLMs在任务性能和社会偏见方面的表现。通过分析不同提示词对LLMs输出的影响，可以更全面、更可靠地评估LLMs的社会偏见。

技术框架：该研究主要采用实验分析的方法。首先，选择一系列下游任务，用于评估LLMs的任务性能和社会偏见。然后，针对每个任务，设计多种不同的提示词变体，包括不同的任务指令、不同的少样本示例、以及不同的去偏见提示。最后，将这些提示词分别输入到不同的LLMs中，分析LLMs的输出结果，并比较不同提示词下LLMs的任务性能和社会偏见。

关键创新：该研究的关键创新在于强调了提示词多样性在LLMs社会偏见评估中的重要性。以往的研究往往忽略了提示词对LLMs输出的影响，而该研究则通过实验证明，LLMs对提示词非常敏感，不同的提示词可能导致完全不同的评估结果。因此，在评估LLMs的社会偏见时，必须考虑提示词的多样性，才能得到更可靠的结论。

关键设计：该研究的关键设计在于提示词变体的选择。研究者精心设计了多种不同的提示词变体，包括不同的任务指令（例如，使用不同的措辞来描述同一个任务）、不同的少样本示例（例如，选择不同的示例来引导LLMs的输出）、以及不同的去偏见提示（例如，使用不同的方法来消除LLMs的偏见）。通过比较这些不同提示词下的LLMs表现，可以更全面地了解LLMs的社会偏见。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，LLMs对提示词高度敏感，模型在任务性能和社会偏见方面的排名会随着提示词的变化而波动。此外，研究还发现，LLMs在性能和社会偏见之间存在权衡关系，即为了减少偏见，可能需要牺牲一定的任务性能。例如，某些去偏见提示可能会降低模型的准确率。

🎯 应用场景

该研究成果可应用于大型语言模型的安全性和公平性评估，帮助开发者更好地了解和控制模型的社会偏见。通过使用多样化的提示，可以更准确地评估模型的潜在风险，并采取相应的措施来缓解偏见，从而促进人工智能技术的健康发展。

📄 摘要（原文）

Warning: This paper contains examples of stereotypes and biases. Large Language Models (LLMs) exhibit considerable social biases, and various studies have tried to evaluate and mitigate these biases accurately. Previous studies use downstream tasks as prompts to examine the degree of social biases for evaluation and mitigation. While LLMs' output highly depends on prompts, previous studies evaluating and mitigating bias have often relied on a limited variety of prompts. In this paper, we investigate the sensitivity of LLMs when changing prompt variations (task instruction and prompt, few-shot examples, debias-prompt) by analyzing task performance and social bias of LLMs. Our experimental results reveal that LLMs are highly sensitive to prompts to the extent that the ranking of LLMs fluctuates when comparing models for task performance and social bias. Additionally, we show that LLMs have tradeoffs between performance and social bias caused by the prompts. Less bias from prompt setting may result in reduced performance. Moreover, the ambiguity of instances is one of the reasons for this sensitivity to prompts in advanced LLMs, leading to various outputs. We recommend using diverse prompts, as in this study, to compare the effects of prompts on social bias in LLMs.