Gender Representation and Bias in Indian Civil Service Mock Interviews

📄 arXiv: 2409.12194v3 📥 PDF

作者: Somonnoy Banerjee, Sujan Dutta, Soumyajit Datta, Ashiqur R. KhudaBukhsh

分类: cs.CL, cs.CY

发布日期: 2024-09-18 (更新: 2024-09-20)

💡 一句话要点

揭示印度公务员模拟面试中存在的性别偏见，并提出新的数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 性别偏见 面试分析 大型语言模型 社会科学 印度公务员 数据集 公平性

📋 核心要点

  1. 现有研究缺乏对印度公务员面试中性别偏见的量化分析，本文旨在填补这一空白。
  2. 通过分析大规模面试问题语料库，并结合大型语言模型，揭示面试问题和模型解释中的性别偏见。
  3. 构建了一个包含51278个面试问题的新数据集，为社会科学研究提供宝贵资源。

📝 摘要（中文）

本文主要贡献有三点。首先，通过分析从888个YouTube印度公务员模拟面试视频中提取的51278个面试问题的大型语料库，揭示了针对男性和女性候选人提出的问题在性质上存在显著的性别偏见。其次，使用大型语言模型进行的实验表明，在性别推断任务中，LLM提供的解释中存在强烈的性别偏见。最后，本文提出了一个包含51278个面试问题的新数据集，可为未来的社会科学研究提供信息。

🔬 方法详解

问题定义：本文旨在解决印度公务员模拟面试中存在的性别偏见问题。现有方法缺乏对面试问题内容和LLM解释中性别偏见的系统性分析，难以量化和理解这种偏见的程度和表现形式。

核心思路：本文的核心思路是通过构建大规模的面试问题语料库，并结合大型语言模型，对面试问题的内容和LLM的解释进行分析，从而揭示其中存在的性别偏见。这种方法能够量化性别偏见，并深入理解其潜在原因。

技术框架：本文的技术框架主要包括以下几个阶段：1) 数据收集：从YouTube收集印度公务员模拟面试视频，并提取面试问题。2) 数据分析：对收集到的面试问题进行统计分析，比较针对男性和女性候选人提出的问题的差异。3) LLM实验：使用大型语言模型对面试问题进行性别推断，并分析LLM提供的解释中是否存在性别偏见。4) 数据集构建：构建包含51278个面试问题的新数据集。

关键创新：本文的关键创新在于：1) 构建了一个大规模的印度公务员模拟面试问题语料库，为研究性别偏见提供了数据基础。2) 结合大型语言模型，对面试问题和LLM解释中的性别偏见进行了深入分析。3) 提出了一个量化性别偏见的方法，并揭示了其在面试问题和LLM解释中的表现形式。

关键设计：在LLM实验中，使用了预训练的大型语言模型，并针对性别推断任务进行了微调。具体的参数设置和损失函数等技术细节在论文中未详细说明（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，在印度公务员模拟面试中，针对男性和女性候选人提出的问题在性质上存在显著差异，例如，更多关于家庭和婚姻的问题被问及女性候选人。此外，大型语言模型在解释性别推断时也表现出明显的性别偏见，这表明AI模型也可能受到社会偏见的影响。

🎯 应用场景

该研究成果可应用于改进面试流程，减少性别偏见，提高面试的公平性。此外，该数据集可用于训练更公平的AI模型，并为社会科学研究提供数据支持。未来，可以进一步研究如何利用AI技术来自动检测和消除面试中的性别偏见。

📄 摘要（原文）

This paper makes three key contributions. First, via a substantial corpus of 51,278 interview questions sourced from 888 YouTube videos of mock interviews of Indian civil service candidates, we demonstrate stark gender bias in the broad nature of questions asked to male and female candidates. Second, our experiments with large language models show a strong presence of gender bias in explanations provided by the LLMs on the gender inference task. Finally, we present a novel dataset of 51,278 interview questions that can inform future social science studies.