Datasets for Fairness in Language Models: An In-Depth Survey
作者: Jiale Zhang, Zichong Wang, Avash Palikhe, Zhipeng Yin, Wenbin Zhang
分类: cs.CL, cs.CY, cs.LG
发布日期: 2025-06-29 (更新: 2025-09-22)
🔗 代码/项目: GITHUB
💡 一句话要点
提出公平性数据集分析框架以解决语言模型评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 公平性评估 语言模型 数据集分析 偏见识别 算法透明性
📋 核心要点
- 现有的语言模型公平性评估方法依赖的数据集缺乏深入分析，导致评估结果的可靠性受到质疑。
- 论文提出了一个统一的评估框架，旨在揭示不同数据集中的人口差异模式，从而改善公平性评估的准确性。
- 通过对十六个流行数据集的分析，发现了许多被忽视的偏见，并提供了选择和解释数据集的指导，促进了研究的透明性。
📝 摘要（中文）
尽管对公平性基准的依赖日益增加，但支撑这些基准的数据集仍然缺乏深入研究。本调查通过全面分析语言模型研究中最广泛使用的公平性数据集，填补了这一空白。我们从数据集的来源、人口范围、注释设计和预期用途等关键维度进行特征化，揭示了当前评估实践中固有的假设和局限性。在此基础上，我们提出了一个统一的评估框架，揭示了基准和评分指标中人口差异的一致模式。通过对十六个流行数据集的应用，我们发现了可能扭曲模型公平性结论的被忽视的偏见，并提供了更有效和负责任地选择、组合和解释这些资源的指导。我们的研究强调了捕捉更广泛社会背景和公平概念的新基准的迫切需求。
🔬 方法详解
问题定义：本论文旨在解决当前语言模型公平性评估中数据集分析不足的问题。现有方法往往忽视了数据集的来源和设计，导致评估结果的偏差和不可靠性。
核心思路：论文的核心思路是通过全面分析现有公平性数据集，提出一个统一的评估框架，以揭示数据集中的人口差异和潜在偏见，从而提高评估的有效性和可靠性。
技术框架：整体架构包括数据集特征化、统一评估框架的构建以及对十六个数据集的应用分析。主要模块包括数据集的来源分析、人口范围评估、注释设计审查和评估结果的综合比较。
关键创新：最重要的技术创新点在于提出了一个系统化的评估框架，能够揭示不同数据集中的一致性偏见，这在现有研究中尚未得到充分关注。
关键设计：在设计中，论文关注数据集的来源、人口特征、注释方法等关键参数，确保评估过程的透明性和可重复性，同时提供了数据、代码和结果的公开访问，以促进后续研究。
📊 实验亮点
通过对十六个流行数据集的分析，发现了多个被忽视的偏见，可能导致对模型公平性的误判。该研究提供的统一评估框架揭示了不同数据集中的一致性偏见，促进了对公平性评估的深入理解和改进。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的公平性评估、算法透明性研究以及社会科学中的数据分析。通过提供一个系统化的评估框架，研究者可以更有效地识别和纠正模型中的偏见，从而推动更公平的人工智能系统的发展。未来，该框架可能影响政策制定和技术标准的制定，促进社会公正。
📄 摘要（原文）
Despite the growing reliance on fairness benchmarks to evaluate language models, the datasets that underpin these benchmarks remain critically underexamined. This survey addresses that overlooked foundation by offering a comprehensive analysis of the most widely used fairness datasets in language model research. To ground this analysis, we characterize each dataset across key dimensions, including provenance, demographic scope, annotation design, and intended use, revealing the assumptions and limitations baked into current evaluation practices. Building on this foundation, we propose a unified evaluation framework that surfaces consistent patterns of demographic disparities across benchmarks and scoring metrics. Applying this framework to sixteen popular datasets, we uncover overlooked biases that may distort conclusions about model fairness and offer guidance on selecting, combining, and interpreting these resources more effectively and responsibly. Our findings highlight an urgent need for new benchmarks that capture a broader range of social contexts and fairness notions. To support future research, we release all data, code, and results at https://github.com/vanbanTruong/Fairness-in-Large-Language-Models/tree/main/datasets, fostering transparency and reproducibility in the evaluation of language model fairness.