'Rich Dad, Poor Lad': How do Large Language Models Contextualize Socioeconomic Factors in College Admission ?

📄 arXiv: 2509.16400v1 📥 PDF

作者: Huy Nghiem, Phuong-Anh Nguyen-Le, John Prindle, Rachel Rudinger, Hal Daumé

分类: cs.CL, cs.CY

发布日期: 2025-09-19

备注: EMNLP 2025, ver 1, 35 pages

💡 一句话要点

提出DPAF框架，揭示LLM在大学招生中对社会经济因素的偏见及推理机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会经济地位 公平性 偏见检测 双过程模型

📋 核心要点

  1. 现有研究对LLM在社会敏感决策中如何考虑社会经济地位（SES）等因素的理解不足，存在潜在偏见风险。
  2. 论文提出双过程审计框架（DPAF），模拟人类认知过程，区分快速决策（系统1）和解释性决策（系统2），深入分析LLM的推理模式。
  3. 实验表明，LLM在大学招生中倾向于低SES申请者，且解释性决策会放大这种偏见，揭示了LLM决策过程中的潜在问题。

📝 摘要（中文）

大型语言模型（LLM）越来越多地应用于高风险领域，但它们在社会敏感决策中的推理方式仍未得到充分探索。我们提出了一项大规模审计，利用认知科学启发的双过程框架，研究LLM在大学招生决策中对社会经济地位（SES）的处理。我们使用基于真实世界相关性的30,000个申请者资料的合成数据集，在两种模式下提示4个开源LLM（Qwen 2、Mistral v0.3、Gemma 2、Llama 3.1）：一种是快速的、仅决策的设置（系统1），另一种是较慢的、基于解释的设置（系统2）。来自500万个提示的结果表明，LLM始终偏爱低SES申请者——即使在控制了学业成绩的情况下——并且系统2通过明确地将SES作为补偿理由来放大这种趋势，突出了它们作为决策者的潜力和不稳定性。然后，我们提出了DPAF，一个双过程审计框架，用于探测LLM在敏感应用中的推理行为。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在大学招生等社会敏感决策中，如何处理和权衡社会经济地位（SES）等因素。现有方法缺乏对LLM推理过程的深入理解，难以发现和解释潜在的偏见。

核心思路：论文借鉴认知科学的双过程理论，将LLM的决策过程分为快速、直觉的“系统1”和缓慢、解释性的“系统2”。通过对比两种模式下的决策结果和解释，揭示LLM在处理SES信息时的潜在偏见和推理机制。

技术框架：论文构建了一个双过程审计框架（DPAF），包含以下主要步骤：1) 构建包含30,000个申请者资料的合成数据集，这些数据基于真实世界的相关性，包含学业成绩和社会经济地位等信息。2) 使用两种模式提示LLM：系统1模式直接给出录取决策，系统2模式要求LLM给出决策的解释。3) 分析LLM在两种模式下的决策结果，比较不同SES申请者的录取率，并分析系统2给出的解释，以识别潜在的偏见。

关键创新：论文的关键创新在于提出了DPAF框架，该框架能够模拟人类的认知过程，深入分析LLM在社会敏感决策中的推理模式。与传统的黑盒测试方法相比，DPAF能够揭示LLM决策背后的原因，从而更好地理解和解决潜在的偏见问题。

关键设计：论文使用了四个开源LLM（Qwen 2、Mistral v0.3、Gemma 2、Llama 3.1）进行实验。合成数据集包含多个特征，例如GPA、SAT分数和社会经济地位。在系统2模式下，LLM被要求用自然语言解释其录取决策。论文分析了LLM给出的解释中是否包含对SES的提及，以及这些提及如何影响决策结果。

📊 实验亮点

实验结果表明，LLM在大学招生中普遍偏爱低SES申请者，即使在控制了学业成绩的情况下也是如此。系统2模式通过明确地将SES作为补偿理由，进一步放大了这种偏见。例如，LLM更有可能为低SES申请者提供“克服困难”等理由，即使他们的学业成绩不如高SES申请者。这些发现揭示了LLM在处理社会经济因素时的潜在偏见。

🎯 应用场景

该研究成果可应用于评估和改进LLM在教育、金融、医疗等领域的决策公平性。DPAF框架可作为一种通用的审计工具，帮助开发者识别和减轻LLM中的偏见，提升其在社会敏感应用中的可靠性和公正性。未来可进一步研究如何利用这些发现来设计更公平的AI系统。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly involved in high-stakes domains, yet how they reason about socially sensitive decisions remains underexplored. We present a large-scale audit of LLMs' treatment of socioeconomic status (SES) in college admissions decisions using a novel dual-process framework inspired by cognitive science. Leveraging a synthetic dataset of 30,000 applicant profiles grounded in real-world correlations, we prompt 4 open-source LLMs (Qwen 2, Mistral v0.3, Gemma 2, Llama 3.1) under 2 modes: a fast, decision-only setup (System 1) and a slower, explanation-based setup (System 2). Results from 5 million prompts reveal that LLMs consistently favor low-SES applicants -- even when controlling for academic performance -- and that System 2 amplifies this tendency by explicitly invoking SES as compensatory justification, highlighting both their potential and volatility as decision-makers. We then propose DPAF, a dual-process audit framework to probe LLMs' reasoning behaviors in sensitive applications.