From a River in Gilead to the Inference Distributions of Large Language Models: Covert Dialect Bias and Linguistic Profiling at Scale
作者: Chowdhury Mohammad Abdullah, Rita Orji
分类: cs.CL, cs.AI
发布日期: 2026-09-16
备注: 12 pages, 5 figures. Accepted to the 9th AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)
💡 一句话要点
提出隐性方言偏见分析方法以解决住房筛选中的语言歧视问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 隐性偏见 社会语言学 住房筛选 方言分析 后殖民英语 语言歧视 模型评估
📋 核心要点
- 现有的对齐技术虽然能缓解显性种族偏见，但对隐性方言偏见的处理仍显不足，导致在高风险领域的应用中存在潜在的歧视问题。
- 本文通过匹配伪装社会语言学范式，分析了四种不同方言在住房相关社会判断中的隐性偏见，提供了一种新的评估方法。
- 实验结果显示，AAVE和NP方言在多个模型中均被负面形容词关联，且NSE的表现受社会接近度影响，揭示了语言模型的偏见特征。
📝 摘要（中文）
大型语言模型（LLMs）在住房筛选等高风险领域的应用日益增加。尽管对生成文本的显性种族偏见进行了对齐技术的缓解，但内部概率分布中的隐性态度关联仍未得到解决。本文采用匹配伪装社会语言学范式，研究了四种方言在住房相关社会判断中的隐性方言偏见。通过260组意义匹配的句子四元组和住房相关形容词的对数概率评分，分析了十个开放权重的LLMs在不同社会接近度下的表现。研究发现，AAVE和NP方言在所有模型中均与更负面的形容词相关联，且NP受到的惩罚最为严重。NSE在正式租户筛选中表现优于SAE，但随着社会接近度的增加，其惩罚也逐渐加重。研究揭示了LLMs在种族身份和声望维度上继承了隐性方言偏见，反映了人类住房歧视的现象。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在住房筛选中存在的隐性方言偏见问题。现有方法主要集中于显性偏见的对齐，未能有效处理内部概率分布中的隐性偏见。
核心思路：通过采用匹配伪装的社会语言学范式，分析不同方言在住房相关社会判断中的表现，揭示其潜在的偏见机制。
技术框架：研究使用260组意义匹配的句子四元组，结合对数概率评分，评估十个开放权重的LLMs在三种不同社会接近度下的表现。主要模块包括数据准备、模型评估和结果分析。
关键创新：本文的创新在于首次系统性地评估了不同方言在大型语言模型中的隐性偏见，特别是对后殖民英语方言的关注，填补了相关文献的空白。
关键设计：在实验中，使用了对数概率评分作为评估标准，并设计了多种社会接近度的场景，以探讨方言偏见的上下文依赖性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在所有十个模型中，AAVE和NP方言均与更负面的形容词相关联，NP方言受到的惩罚最为严重。此外，NSE在正式租户筛选中表现优于SAE，但随着社会接近度的增加，其惩罚逐渐加重，显示出上下文对偏见的影响。
🎯 应用场景
该研究的潜在应用领域包括住房筛选、招聘系统和社交媒体内容审核等高风险领域。通过识别和缓解隐性方言偏见，可以提高这些系统的公平性和透明度，减少社会歧视现象的发生，具有重要的社会价值和影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed in high-stakes domains such as housing screening. While alignment techniques mitigate explicit racial bias in generated text, they often leave covert attitudinal associations in internal probability distributions untouched. Adapting the matched-guise sociolinguistic paradigm, we examine covert dialect bias in housing-related social judgments across four varieties: Standard American English (SAE), African American Vernacular English (AAVE), Nigerian Standard English (NSE), and Nigerian Pidgin (NP). AAVE reflects the racialized dialect studied in prior covert-bias evaluations, whereas NSE and NP represent Black African, postcolonial varieties absent from this literature. Using 260 meaning-matched sentence quadruples and log-probability scoring over housing-relevant adjectives, we probe ten open-weight LLMs across three contexts varying in social proximity: tenant screening, neighbor acceptance, and roommate selection. Across all ten models, AAVE and NP are consistently associated with more negative adjectives than SAE, with NP penalized most severely. Crucially, each dialect is penalized via distinct stereotype clusters rather than a generic non-standard category. NSE, which carries institutional prestige, displays a context-dependent shift: favored over SAE in formal tenant screening but increasingly penalized as social proximity grows. Our findings reveal that LLMs inherit covert dialect bias along both racial identity and prestige dimensions, echoing documented human housing discrimination and demonstrating its reach across postcolonial English varieties.