HESEIA: A community-based dataset for evaluating social biases in large language models, co-designed in real school settings in Latin America

📄 arXiv: 2505.24712v1 📥 PDF

作者: Guido Ivetta, Marcos J. Gomez, Sofía Martinelli, Pietro Palombini, M. Emilia Echeveste, Nair Carolina Mazzeo, Beatriz Busaniche, Luciana Benotti

分类: cs.CL, cs.CY

发布日期: 2025-05-30

💡 一句话要点

提出HESEIA数据集，用于评估大型语言模型在拉丁美洲学校环境中的社会偏见。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会偏见 大型语言模型 教育数据集 拉丁美洲 协同设计

📋 核心要点

  1. 现有评估大型语言模型社会偏见的资源缺乏受影响社区的协同设计和参与式方法。
  2. HESEIA数据集通过拉丁美洲学校教师和学生的参与，捕捉当地语境下的交叉偏见和刻板印象。
  3. 实验表明，HESEIA数据集包含更多现有大型语言模型未能识别的刻板印象，更适合评估教育场景下的偏见。

📝 摘要（中文）

本文介绍HESEIA，一个包含46499个句子的数据集，它是在一个专业发展课程中创建的。该课程涉及来自189所拉丁美洲学校的370名高中教师和5370名学生。与现有基准不同，HESEIA捕捉了跨多个人口统计轴和学科的交叉偏见。它通过教育工作者的生活经验和教学专业知识反映了当地的情况。教师们使用最小配对来创建表达与其学科和社区相关的刻板印象的句子。本文展示了数据集在所代表的人口统计轴以及所包含的知识领域方面的多样性。结果表明，与之前的数据集相比，该数据集包含更多当前LLM无法识别的刻板印象。HESEIA可用于支持基于教育社区的偏见评估。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）偏见评估数据集，通常缺乏来自受影响社区的协同设计，难以捕捉特定区域和文化背景下的社会偏见。尤其是在教育领域，现有的数据集可能无法充分反映当地学校环境中的实际情况和师生的认知。因此，需要一个能够反映当地语境、包含交叉偏见，并由教育社区共同设计的数据集，用于更准确地评估LLM在教育场景中的社会偏见。

核心思路：论文的核心思路是通过让拉丁美洲的教师和学生参与到数据集的创建过程中，利用他们的生活经验和教学专业知识，来捕捉当地学校环境中存在的社会偏见和刻板印象。通过这种协同设计的方式，可以确保数据集能够反映当地的文化背景和价值观，从而更准确地评估LLM在教育场景中的社会偏见。

技术框架：HESEIA数据集的构建主要分为以下几个阶段： 1. 专业发展课程设计：设计面向拉丁美洲高中教师的专业发展课程，旨在提高教师对社会偏见的认识和数据收集能力。 2. 教师培训：培训教师使用最小配对的方法来创建句子，这些句子能够表达与其学科和社区相关的刻板印象。 3. 数据收集：教师指导学生参与句子创作，收集包含刻板印象的句子，并标注相关的人口统计学信息。 4. 数据集构建：对收集到的句子进行清洗、整理和标注，构建HESEIA数据集。 5. 数据集评估：使用HESEIA数据集评估现有LLM的偏见识别能力，并与现有数据集进行比较。

关键创新：HESEIA数据集的关键创新在于其协同设计的方法，它将数据集的创建过程与教育社区的需求紧密结合。与现有数据集相比，HESEIA数据集具有以下特点： 1. 本地化：反映拉丁美洲学校环境中的实际情况和师生的认知。 2. 交叉性：捕捉跨多个人口统计轴和学科的交叉偏见。 3. 多样性：包含更广泛的刻板印象和偏见类型。 4. 教育性：可以用于提高教师和学生对社会偏见的认识。

关键设计：在数据收集过程中，教师被要求使用最小配对的方法来创建句子。最小配对是指两个句子之间只有一个词或短语不同，但这两个句子表达的含义却截然不同，例如一个句子表达了刻板印象，而另一个句子则没有。这种方法可以有效地突出句子中的偏见成分。此外，数据集还包含了详细的人口统计学信息标注，例如性别、种族、社会经济地位等，以便于研究人员分析不同人口群体之间的偏见差异。

📊 实验亮点

实验结果表明，HESEIA数据集包含更多现有LLM未能识别的刻板印象，表明其在评估教育场景下的偏见方面具有更高的敏感性。与现有数据集相比，使用HESEIA数据集可以更准确地评估LLM在处理拉丁美洲教育场景时的社会偏见。

🎯 应用场景

HESEIA数据集可用于评估和减轻大型语言模型在教育领域的社会偏见，例如在智能辅导系统、自动评分系统和教育内容生成工具中。通过使用HESEIA数据集进行训练和评估，可以提高这些系统在处理拉丁美洲教育场景时的公平性和准确性，从而促进更公平和包容的教育环境。该数据集还可以用于提高教师和学生对社会偏见的认识。

📄 摘要（原文）

Most resources for evaluating social biases in Large Language Models are developed without co-design from the communities affected by these biases, and rarely involve participatory approaches. We introduce HESEIA, a dataset of 46,499 sentences created in a professional development course. The course involved 370 high-school teachers and 5,370 students from 189 Latin-American schools. Unlike existing benchmarks, HESEIA captures intersectional biases across multiple demographic axes and school subjects. It reflects local contexts through the lived experience and pedagogical expertise of educators. Teachers used minimal pairs to create sentences that express stereotypes relevant to their school subjects and communities. We show the dataset diversity in term of demographic axes represented and also in terms of the knowledge areas included. We demonstrate that the dataset contains more stereotypes unrecognized by current LLMs than previous datasets. HESEIA is available to support bias assessments grounded in educational communities.