SocioEval: A Template-Based Framework for Evaluating Socioeconomic Status Bias in Foundation Models

📄 arXiv: 2604.02660 📥 PDF

作者: Divyanshu Kumar, Ishita Gupta, Nitin Aravind Birur, Tanay Baswa, Sahil Agarwal, Prashanth Harshangi

分类: cs.CL

发布日期: 2026-04-06

💡 一句话要点

SocioEval：一个基于模板的框架，用于评估基础模型中的社会经济地位偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会经济地位偏见 大型语言模型 偏见评估 模板框架 决策任务

📋 核心要点

  1. 现有偏见评估框架主要集中于种族和性别，忽略了社会经济地位偏见在现实世界中的广泛影响。
  2. SocioEval框架通过模板化的决策任务，系统性地评估大型语言模型中存在的社会经济偏见。
  3. 实验结果表明，不同主题下偏见程度差异显著，且现有保障措施对领域刻板印象的鲁棒性不足。

📝 摘要（中文）

随着大型语言模型（LLM）越来越多地为关键领域的决策系统提供支持，理解和减轻其偏见对于负责任的AI部署至关重要。尽管针对种族和性别等属性的偏见评估框架已经大量涌现，但社会经济地位偏见仍然很大程度上未被探索，尽管它在现实世界中具有广泛的影响。我们介绍了SocioEval，这是一个基于模板的框架，用于通过决策任务系统地评估基础模型中的社会经济偏见。我们的分层框架包含8个主题和18个主题，生成了跨6个类别对组合的240个提示。我们使用严格的三阶段注释协议评估了13个前沿LLM的3,120个响应，揭示了偏见率的显着变化（0.42％-33.75％）。我们的研究结果表明，偏见在不同的主题中表现不同——生活方式判断显示出比教育相关决策高10倍的偏见，并且部署保障措施有效地防止了明确的歧视，但对特定领域的刻板印象表现出脆弱性。SocioEval为审计语言模型中基于阶级的偏见提供了一个可扩展的基础。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中社会经济地位（SES）偏见评估不足的问题。现有偏见评估方法主要集中在种族和性别等属性上，忽略了SES偏见在现实世界中的广泛影响，以及LLM在涉及SES相关决策时的潜在不公平性。

核心思路：论文的核心思路是构建一个基于模板的框架，通过生成一系列与SES相关的决策任务提示，系统性地评估LLM的偏见。该框架通过分层结构，覆盖多个主题和类别，从而全面地捕捉不同类型的SES偏见。

技术框架：SocioEval框架包含以下几个主要组成部分： 1. 主题和话题定义：定义了8个主题（如教育、职业、生活方式等）和18个话题，以覆盖SES的不同方面。 2. 模板生成：为每个主题和话题设计模板，用于生成具体的决策任务提示。 3. 提示生成：使用模板和预定义的类别对（如富裕/贫穷）生成240个提示。 4. LLM评估：使用生成的提示评估13个前沿LLM，收集3,120个响应。 5. 三阶段标注：使用严格的三阶段标注协议，对LLM的响应进行偏见评估。 6. 偏见分析：分析不同主题、类别和LLM之间的偏见差异。

关键创新：SocioEval的关键创新在于其系统性和可扩展性。它提供了一个结构化的方法来评估LLM中的SES偏见，并可以轻松地扩展到新的主题、话题和LLM。此外，该框架强调了领域特定刻板印象的脆弱性，这在以往的研究中较少关注。

关键设计： 1. 分层框架：采用分层结构，确保覆盖SES的不同方面，并允许对偏见进行细粒度分析。 2. 模板设计：精心设计的模板确保生成的提示具有多样性和代表性。 3. 三阶段标注协议：采用严格的标注协议，减少主观偏差，提高评估的可靠性。 4. 类别对选择：选择具有代表性的类别对，以捕捉不同类型的SES偏见。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同LLM的偏见率差异显著（0.42%-33.75%），且偏见在不同主题中表现不同，生活方式判断的偏见率是教育相关决策的10倍。此外，实验还发现，现有的部署保障措施对领域特定刻板印象的鲁棒性不足，容易受到攻击。

🎯 应用场景

SocioEval框架可用于评估和减轻大型语言模型在涉及社会经济地位相关决策时的偏见，例如信贷评估、招聘筛选、教育资源分配等。该研究有助于开发更公平、更负责任的AI系统，减少算法歧视，促进社会公平。

📄 摘要（原文）

As Large Language Models (LLMs) increasingly power decision-making systems across critical domains, understanding and mitigating their biases becomes essential for responsible AI deployment. Although bias assessment frameworks have proliferated for attributes such as race and gender, socioeconomic status bias remains significantly underexplored despite its widespread implications in the real world. We introduce SocioEval, a template-based framework for systematically evaluating socioeconomic bias in foundation models through decision-making tasks. Our hierarchical framework encompasses 8 themes and 18 topics, generating 240 prompts across 6 class-pair combinations. We evaluated 13 frontier LLMs on 3,120 responses using a rigorous three-stage annotation protocol, revealing substantial variation in bias rates (0.42\%-33.75\%). Our findings demonstrate that bias manifests differently across themes lifestyle judgments show 10$\times$ higher bias than education-related decisions and that deployment safeguards effectively prevent explicit discrimination but show brittleness to domain-specific stereotypes. SocioEval provides a scalable, extensible foundation for auditing class-based bias in language models.